Klasy bazowe

In [18]:
import abc

import tensorflow as tf

class AbstractLayer(tf.keras.layers.Layer):
    """Abstract Layer."""
    
    def __init__(self):
        """Inits the class."""
        super(AbstractLayer, self).__init__()
    
    @abc.abstractmethod
    def call(self, inputs):
        """Makes forward pass of the layer."""
        pass


class AbstractModel(tf.keras.Model):
    """Abstract model."""

    def __init__(self):
        """Inits the class."""
        super(AbstractModel, self).__init__()

    @abc.abstractmethod
    def call(self, inputs, training=False):
        """Makes forward pass of the network."""
        pass

    @abc.abstractmethod
    def fit(self, **kwargs):
        """Fits the model.

        Replaces original fit method.
        
        More information can be found in documentation:
        https://www.tensorflow.org/guide/eager
        https://www.tensorflow.org/guide/autodiff
        """
        pass

    @abc.abstractmethod
    def predict(self, x):
        """Predicts x"""
        pass

Instrukcje pomoniczne do wykonania przetwarzania wstępnego

In [19]:
import pickle

# Wczytanie zbioru danych
dataset_path = 'dataset.pkl'

with open(dataset_path, 'rb') as f:
    dataset = pickle.load(f)  
images_raw_train = dataset['train']['X']
images_raw_test = dataset['test']['X']
images_raw_valid = dataset['validation']['X']

labels = dataset['train']['y']
labels_test = dataset['test']['y']
lebels_valid = dataset['validation']['y']

# Ustawienie ziarna
tf.random.set_seed(1234)

# Zmiana rozmiaru obrazu z 224x224 do 64x64
images = tf.image.resize(
    images_raw_train, [64, 64], 
    method=tf.image.ResizeMethod.NEAREST_NEIGHBOR, 
    preserve_aspect_ratio=False,
    name=None
)

images_test = tf.image.resize(
    images_raw_test, [64, 64], 
    method=tf.image.ResizeMethod.NEAREST_NEIGHBOR, 
    preserve_aspect_ratio=False,
    name=None
)

images_valid = tf.image.resize(
    images_raw_valid, [64, 64], 
    method=tf.image.ResizeMethod.NEAREST_NEIGHBOR, 
    preserve_aspect_ratio=False,
    name=None
)

# Zmiana typu obrazów z int na float i normalizacja wartości pikseli z przedziału 0-255 do przedziału 0-1
images = tf.cast(images, tf.float32) / 255.0
images_test = tf.cast(images_test, tf.float32) / 255.0
images_valid = tf.cast(images_valid, tf.float32) / 255.0
    
# Zmiana wymiarowości z [8870] na [8870, 1] w celu zastosowania `SparseCategoricalCrossentropy`
labels = tf.reshape(labels, [-1, 1])
labels_test = tf.reshape(labels_test, [-1, 1])
labels_valid = tf.reshape(lebels_valid, [-1, 1])
# Do iterowania zbioru danych i podzielenia na paczki (ang. batch) można wykorzystać interfejs zdefiniowany w `tensorflow.data.Dataset`

Prezentacja danych:

In [20]:
import matplotlib.pyplot as plt
plt.figure()
plt.figure(figsize=(12,12))
rows = 5
cols = 5
for img in range(rows*cols):
    plt.subplot(rows,cols,img+1)
    plt.imshow(dataset['train']['X'][img])
plt.show()
<Figure size 432x288 with 0 Axes>
In [60]:
def plot_confusion_matrix(cm, classes,
                        normalize=False,
                        title='Confusion matrix',
                        cmap=plt.cm.Blues):
    """
    This function prints and plots the confusion matrix.
    Normalization can be applied by setting `normalize=True`.
    """
    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=45)
    plt.yticks(tick_marks, classes)

    if normalize:
        cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
        print("Normalized confusion matrix")
    else:
        print('Confusion matrix, without normalization')

    #print(cm)

    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, cm[i, j],
            horizontalalignment="center",
            color="white" if cm[i, j] > thresh else "black")

    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')

Implementacja modelu MLP

In [21]:
from tqdm import tqdm
In [22]:
import abc
import tensorflow as tf

class MLP_Layer(AbstractLayer):
    
    def __init__(self, units,initilizer_weights,initilizer_bias):
        """Inits the class."""
        self.units = units
        self.weights_initilizer=initilizer_weights
        self.bias_initilizer=initilizer_bias
        super(MLP_Layer, self).__init__()
    
    def build(self, input_shape):
        """Here we build our layer. Here will be create Weights and baiases"""
        self.w = self.add_weight(shape=(input_shape[-1], self.units),
                                      initializer=self.weights_initilizer,
                                      trainable=True)
        
        self.b = self.add_weight(shape=(self.units,),initializer=self.bias_initilizer,trainable=True)
    def call(self, inputs):
        """Makes forward pass of the layer."""
        #y = a*x +b  -> weights * input + bias
        ax = tf.matmul(inputs, self.w)
        y = ax + self.b
        return y    
In [23]:
import matplotlib.pyplot as plt
import tensorflow as tf
from tqdm import tqdm
import numpy as np
from sklearn.metrics import f1_score, accuracy_score
class MLP(AbstractModel):
    
    def __init__(self,from_logits=False):
        super(MLP, self).__init__()
        self.lr = 1e-3
        self.optim = tf.keras.optimizers.Adam(learning_rate=self.lr)
        self.loss_fn=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=from_logits) #from logits zamiast softmaxa można
        self.batch_size = 100
        self.num_epochs = 25
    def compile(self, **kwargs):
        number_of_MLP_layers = kwargs['layers']
        units = kwargs['units']
        weig_init = kwargs['initializer_weights']
        bias_init = kwargs['initializer_bias']
        self.MPL_layers =[]
        for layer in range(number_of_MLP_layers):
            self.MPL_layers.append(MLP_Layer(units=units,initilizer_weights=weig_init,initilizer_bias=bias_init))
        self.full_connected_2 = MLP_Layer(units=14,initilizer_weights=weig_init,initilizer_bias=bias_init)
        if 'optim' in kwargs:
            self.optim = kwargs['optim']
        if 'batch' in kwargs:
            self.batch_size = kwargs['batch'] 
        if 'epoch' in kwargs:
            self.num_epoch = kwargs['epoch'] 
            
    def call(self, inputs, training=False):
        """Makes forward pass of the network."""
        x = tf.reshape(inputs,[inputs.shape[0],64*64*3])
        for layer in self.MPL_layers:
            x= layer(x)
            x=tf.nn.relu(x)
        x = self.full_connected_2(x)
        x = tf.nn.softmax(x) #Activation 2 layer
        return x

    def fit(self, **kwargs):
        history = {'Loss':[],
                   'Accuracy':[],
                   'Fscore':[]}
        history_test = {'Loss':[],
                   'Accuracy':[],
                   'Fscore':[]}
        history_valid = {'Loss':[],
                    'Accuracy':[],
                   'Fscore':[]}
        
        batch_size = self.batch_size
        #print(type(history['loss']))
        train_dataset= kwargs['dataset']
        train_labels = kwargs['labels_train']
        test_dataset= kwargs['dataset_test']
        valid_dataset= kwargs['dataset_valid']
        labels_valid= kwargs['labels_valid']
        labels_test=kwargs['labels_test']
        batch = kwargs['batch']
        self.num_epochs = kwargs['epochs']
        NUMBER_OF_CLASSES = 14
        train_ds = tf.data.Dataset.from_tensor_slices((images, labels)) 
        size=len(train_dataset)
        train_ds = train_ds.shuffle(buffer_size=size).batch(batch_size=batch)
        size = size/batch_size
        if(train_dataset!=None):
            for epoch in tqdm(range(self.num_epochs)):
                loss_sum = 0
                fscore = 0
                prec = 0
                recall = 0
                acc = 0
                iterator=0
                for x, y in train_ds:
                    iterator+=1
                    with tf.GradientTape() as tape:
                        y_prediction = self.call(x,training=True)
                        loss = self.loss_fn(y_true=y,y_pred=y_prediction)
                        loss_sum+=tf.keras.backend.sum(loss)
                    grads = tape.gradient(loss, self.trainable_variables)
                    self.optim.apply_gradients(zip(grads,self.trainable_variables))     
                history['Loss'].append((loss_sum/iterator).numpy())
                pred = self.predict(train_dataset)
                acc, F = self.validate(y_pred=pred,y_true=train_labels)
                history['Accuracy'].append(acc)
                history['Fscore'].append(F)
                   
            
                y_prediction = self.predict(test_dataset)
                y_loss = self.call(test_dataset).numpy()
                acc, F = self.validate(y_pred=y_prediction,y_true=labels_test)
                loss = self.loss_fn(y_true=labels_test,y_pred=y_loss)
                history_test['Loss'].append(loss.numpy())
                history_test['Accuracy'].append(acc)
                history_test['Fscore'].append(F)
                
                y_prediction = self.predict(valid_dataset)
                y_loss = self.call(valid_dataset).numpy()
                acc = self.validate(y_pred=y_prediction,y_true=labels_valid)
                loss = self.loss_fn(y_true=labels_valid,y_pred=y_loss)
                history_valid['Loss'].append(loss.numpy())
                history_valid['Accuracy'].append(acc)
                history_valid['Fscore'].append(F)
              
                
        else:
            print('provide dataset')
              
        return history, history_test, history_valid
        pass
    def validate(self,y_true,y_pred):
        re = tf.reshape(y_pred,[-1,1]).numpy()
        true = y_true.numpy()
       
        acc = accuracy_score(y_true=true,y_pred=re).sum()
        acc = np.mean(acc)
        F1 = f1_score(y_true=true,y_pred=re,average="macro")
        return acc, F1
    def predict(self, x):
        """Predicts x"""
        pred = self.call(x,training=False)
        return tf.argmax(input=pred, axis=1)
        
        
In [223]:
COLUMNS = ['Loss','Accuracy','Fscore','layers','weights','biases','units','optim','lr','batch size','epochs']
history_competition=pd.DataFrame(columns=COLUMNS)
history_competition
Out[223]:
Loss Accuracy Fscore layers weights biases units optim lr batch size epochs
In [224]:
def research(layers,units,init_weights,init_bias,batch,optim,epoch):
    
    history_competition=pd.DataFrame(columns=['Loss','Accuracy','Fscore','layers','weights','biases','units','optim','lr'])
    
    model=MLP()
    model.compile(layers=layers,units=units,initializer_weights=init_weights,initializer_bias=init_bias,batch=batch,optim=optim,epoch=epoch)
    
    history, history_test, history_valid = model.fit(dataset=images,labels_train=labels,epochs=epoch,dataset_test=images_test, dataset_valid=images_valid, labels_test=labels_test, labels_valid=labels_valid,batch=batch)
    data = pd.DataFrame(history_test).tail(1).reset_index(drop=True)
    params = pd.DataFrame([[layers,init_weights._tf_api_names,init_bias._tf_api_names,units,model.optim._name,model.optim._hyper['learning_rate'].numpy(),model.batch_size,model.num_epoch]],columns=['layers','weights','biases','units','optim','lr','batch size','epochs'])
    data = pd.concat([data,params],axis=1)
    history_competition=history_competition.append(data)
    return history_competition

Number of layers:1-5

initilizer of weights: tf.random_uniform_initializer

initilizer of biases: tf.random_uniform_initializer

Units:256

In [147]:
history_competition=history_competition.append(research(1,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))


  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<03:08,  7.87s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:14<02:55,  7.63s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:22<02:44,  7.49s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:29<02:34,  7.34s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:35<02:23,  7.18s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:42<02:14,  7.08s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:49<02:06,  7.04s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [00:57<02:03,  7.26s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:04<01:56,  7.28s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:11<01:48,  7.22s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:18<01:40,  7.16s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:25<01:32,  7.10s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:33<01:28,  7.35s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:42<01:25,  7.73s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:49<01:16,  7.66s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [01:57<01:09,  7.72s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:05<01:01,  7.64s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:12<00:52,  7.47s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:19<00:43,  7.31s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:25<00:35,  7.13s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:32<00:28,  7.01s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:39<00:21,  7.03s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:47<00:14,  7.19s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [02:54<00:07,  7.17s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:01<00:00,  7.26s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<03:01,  7.56s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<02:53,  7.54s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:22<02:46,  7.57s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:31<02:46,  7.94s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:39<02:38,  7.94s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:46<02:28,  7.81s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:54<02:18,  7.70s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:01<02:09,  7.60s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:09<02:00,  7.56s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:16<01:53,  7.58s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:24<01:46,  7.60s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:31<01:38,  7.55s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:39<01:31,  7.59s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:47<01:23,  7.62s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:54<01:16,  7.62s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:02<01:08,  7.58s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:09<01:00,  7.54s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:17<00:52,  7.53s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:25<00:45,  7.64s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:33<00:38,  7.76s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:41<00:31,  7.88s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:49<00:23,  7.82s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:57<00:15,  7.84s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:04<00:07,  7.86s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:13<00:00,  7.73s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:09<03:43,  9.32s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:18<03:31,  9.21s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:27<03:19,  9.09s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:35<03:08,  9.00s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:44<02:58,  8.94s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:53<02:49,  8.90s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:02<02:38,  8.83s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:10<02:29,  8.81s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:19<02:20,  8.77s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:28<02:13,  8.89s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:38<02:08,  9.15s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:48<02:03,  9.49s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:59<01:57,  9.76s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:09<01:47,  9.79s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:19<01:39,  9.91s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:29<01:29,  9.97s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:38<01:18,  9.84s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:47<01:06,  9.57s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:56<00:56,  9.35s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:05<00:45,  9.18s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:14<00:36,  9.19s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:23<00:27,  9.13s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:32<00:18,  9.07s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:41<00:09,  9.04s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:50<00:00,  9.23s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:11<04:29, 11.23s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:22<04:17, 11.22s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:33<04:08, 11.29s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:44<03:55, 11.22s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:56<03:44, 11.20s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [01:07<03:31, 11.15s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:18<03:19, 11.09s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:29<03:10, 11.21s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:40<02:58, 11.18s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:52<02:49, 11.30s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [02:03<02:38, 11.32s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [02:14<02:25, 11.22s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:25<02:14, 11.23s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:37<02:03, 11.20s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:47<01:51, 11.13s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:58<01:39, 11.08s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [03:10<01:29, 11.17s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [03:22<01:19, 11.39s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [03:35<01:11, 11.87s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:46<00:58, 11.65s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:56<00:45, 11.33s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [04:07<00:33, 11.15s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [04:19<00:22, 11.25s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [04:30<00:11, 11.31s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [04:43<00:00, 11.33s/it]

Number of layers:1-5

initilizer of weights: tf.random_normal_initializer

initilizer of biases: tf.random_uniform_initializer

Units:256

In [150]:
history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))


  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<02:58,  7.44s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<02:52,  7.48s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:22<02:42,  7.40s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:29<02:34,  7.36s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:37<02:28,  7.45s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:44<02:22,  7.49s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:52<02:16,  7.56s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:00<02:09,  7.62s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:08<02:03,  7.73s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:16<01:56,  7.79s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:23<01:48,  7.78s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:32<01:42,  7.89s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:39<01:34,  7.85s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:48<01:28,  8.02s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:55<01:19,  7.94s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:03<01:11,  7.93s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:11<01:01,  7.73s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:18<00:54,  7.77s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:27<00:47,  7.91s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:34<00:39,  7.82s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:42<00:31,  7.78s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:49<00:22,  7.61s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:57<00:15,  7.55s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:04<00:07,  7.47s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:11<00:00,  7.67s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:08<03:12,  8.01s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:16<03:07,  8.14s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:24<03:00,  8.20s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:33<02:55,  8.36s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:42<02:50,  8.53s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:50<02:41,  8.50s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:59<02:31,  8.40s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:08<02:28,  8.75s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:17<02:21,  8.86s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:26<02:12,  8.84s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:34<02:00,  8.59s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:42<01:48,  8.38s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:50<01:38,  8.25s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:57<01:28,  8.02s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:05<01:20,  8.04s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:14<01:12,  8.09s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:22<01:04,  8.10s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:30<00:56,  8.10s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:38<00:48,  8.05s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:46<00:39,  7.96s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:53<00:31,  7.94s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:01<00:23,  7.92s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:09<00:15,  7.87s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:17<00:07,  7.81s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:24<00:00,  8.19s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:09<03:37,  9.08s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:18<03:27,  9.04s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:26<03:17,  8.98s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:35<03:08,  8.99s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:44<03:00,  9.02s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:53<02:51,  9.02s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:02<02:41,  8.98s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:11<02:32,  8.97s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:20<02:23,  8.97s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:29<02:14,  8.98s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:38<02:06,  9.00s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:47<01:56,  8.97s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:57<01:49,  9.11s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:05<01:38,  8.93s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:15<01:30,  9.04s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:24<01:22,  9.13s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:33<01:13,  9.17s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:42<01:03,  9.14s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:52<00:55,  9.25s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:01<00:46,  9.27s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:10<00:36,  9.17s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:19<00:27,  9.19s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:28<00:18,  9.20s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:38<00:09,  9.19s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:46<00:00,  9.07s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:11<04:26, 11.10s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:22<04:17, 11.20s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:33<04:06, 11.20s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:45<03:59, 11.40s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:57<03:53, 11.68s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [01:09<03:43, 11.74s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:25<03:54, 13.05s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:39<03:44, 13.18s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:53<03:34, 13.42s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [02:06<03:20, 13.40s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [02:21<03:11, 13.66s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [02:33<02:52, 13.25s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:45<02:35, 12.92s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:56<02:15, 12.35s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [03:07<02:00, 12.04s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [03:19<01:47, 11.92s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [03:30<01:33, 11.73s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [03:42<01:21, 11.68s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [03:54<01:10, 11.77s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [04:05<00:57, 11.49s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [04:16<00:45, 11.40s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [04:27<00:33, 11.24s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [04:38<00:22, 11.25s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [04:49<00:11, 11.15s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:00<00:00, 12.04s/it]

Number of layers:1-5

initilizer of weights: tf.random_normal_initializer

initilizer of biases: tf.random_normal_initializer

Units:256

In [151]:
history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))


  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<02:48,  7.04s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:13<02:41,  7.01s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:21<02:34,  7.04s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:28<02:29,  7.10s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:35<02:24,  7.25s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:43<02:17,  7.24s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:50<02:10,  7.22s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [00:57<02:02,  7.20s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:04<01:55,  7.22s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:11<01:48,  7.20s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:19<01:42,  7.30s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:27<01:36,  7.46s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:34<01:28,  7.36s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:41<01:20,  7.29s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:48<01:12,  7.23s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [01:55<01:04,  7.21s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:03<00:58,  7.26s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:10<00:50,  7.18s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:17<00:42,  7.13s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:24<00:35,  7.12s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:31<00:28,  7.04s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:38<00:21,  7.04s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:45<00:14,  7.09s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [02:52<00:07,  7.14s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:59<00:00,  7.18s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<03:00,  7.52s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<02:54,  7.58s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:22<02:46,  7.59s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:30<02:39,  7.57s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:37<02:30,  7.52s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:46<02:27,  7.76s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:54<02:20,  7.80s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:01<02:13,  7.86s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:09<02:03,  7.69s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:17<01:58,  7.92s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:25<01:50,  7.87s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:33<01:41,  7.84s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:40<01:33,  7.79s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:48<01:25,  7.81s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:56<01:17,  7.76s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:04<01:09,  7.71s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:11<01:01,  7.65s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:19<00:54,  7.72s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:27<00:46,  7.68s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:35<00:38,  7.79s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:42<00:31,  7.80s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:50<00:23,  7.75s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:58<00:15,  7.70s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:05<00:07,  7.64s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:13<00:00,  7.73s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:09<03:41,  9.22s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:18<03:31,  9.18s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:27<03:23,  9.25s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:37<03:15,  9.30s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:48<03:15,  9.77s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:57<03:06,  9.81s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:07<02:57,  9.85s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:16<02:41,  9.50s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:25<02:27,  9.22s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:33<02:14,  9.00s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:42<02:05,  8.96s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:51<01:56,  9.00s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:01<01:50,  9.25s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:11<01:43,  9.39s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:20<01:33,  9.39s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:29<01:24,  9.40s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:39<01:14,  9.32s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:48<01:05,  9.29s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:57<00:55,  9.29s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:07<00:46,  9.34s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:16<00:38,  9.52s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:27<00:29,  9.68s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:36<00:19,  9.67s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:46<00:09,  9.72s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:56<00:00,  9.47s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:12<04:58, 12.42s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:24<04:44, 12.36s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:36<04:31, 12.32s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:49<04:19, 12.36s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [01:01<04:06, 12.33s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [01:14<03:56, 12.46s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:26<03:41, 12.29s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:38<03:28, 12.24s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:50<03:15, 12.25s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [02:02<03:03, 12.26s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [02:15<02:51, 12.24s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [02:27<02:39, 12.25s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:40<02:30, 12.57s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:52<02:16, 12.43s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [03:04<02:02, 12.29s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [03:16<01:50, 12.26s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [03:29<01:39, 12.41s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [03:42<01:27, 12.45s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [03:54<01:15, 12.51s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [04:07<01:02, 12.41s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [04:19<00:49, 12.47s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [04:31<00:37, 12.35s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [04:43<00:24, 12.27s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [04:55<00:12, 12.22s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:11<00:00, 12.44s/it]

Number of layers:1-5

initilizer of weights: tf.random_uniform_initializer

initilizer of biases: tf.random_normal_initializer

Units:256

In [152]:
history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))


  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:08<03:13,  8.08s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<03:02,  7.92s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:23<02:53,  7.87s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:30<02:41,  7.68s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:37<02:30,  7.50s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:45<02:21,  7.45s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:52<02:13,  7.43s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [00:59<02:05,  7.36s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:07<02:00,  7.51s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:14<01:52,  7.51s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:22<01:43,  7.43s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:29<01:35,  7.35s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:36<01:28,  7.34s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:43<01:20,  7.30s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:51<01:13,  7.35s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [01:58<01:06,  7.41s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:06<00:59,  7.38s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:13<00:51,  7.41s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:21<00:44,  7.41s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:28<00:36,  7.38s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:35<00:29,  7.41s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:43<00:22,  7.40s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:50<00:14,  7.39s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [02:58<00:07,  7.38s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:05<00:00,  7.41s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<03:05,  7.72s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<02:58,  7.77s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:23<02:51,  7.79s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:31<02:45,  7.89s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:39<02:38,  7.92s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:47<02:29,  7.89s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:55<02:22,  7.92s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:03<02:14,  7.93s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:11<02:07,  7.95s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:20<02:02,  8.18s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:28<01:54,  8.16s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:36<01:46,  8.18s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:43<01:35,  7.99s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:51<01:26,  7.89s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:59<01:17,  7.80s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:06<01:09,  7.76s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:14<01:02,  7.77s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:22<00:54,  7.80s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:30<00:46,  7.72s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:37<00:38,  7.79s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:45<00:31,  7.81s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:53<00:23,  7.78s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:01<00:15,  7.84s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:09<00:07,  7.81s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:17<00:00,  7.89s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:09<03:39,  9.16s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:18<03:31,  9.19s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:27<03:23,  9.24s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:37<03:14,  9.25s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:46<03:08,  9.42s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:56<02:57,  9.36s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:05<02:47,  9.33s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:14<02:37,  9.27s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:23<02:27,  9.24s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:32<02:18,  9.24s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:42<02:10,  9.35s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:51<02:01,  9.31s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:00<01:50,  9.22s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:09<01:40,  9.16s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:19<01:34,  9.46s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:29<01:24,  9.40s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:38<01:14,  9.31s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:47<01:05,  9.40s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:57<00:56,  9.35s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:06<00:46,  9.38s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:15<00:37,  9.29s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:24<00:27,  9.31s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:34<00:18,  9.50s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:44<00:09,  9.41s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:53<00:00,  9.33s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:11<04:34, 11.46s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:22<04:21, 11.38s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:34<04:11, 11.42s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:46<04:03, 11.59s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:58<03:55, 11.77s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [01:10<03:45, 11.86s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:21<03:29, 11.66s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:33<03:19, 11.72s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:45<03:09, 11.84s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:57<02:56, 11.75s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [02:08<02:43, 11.66s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [02:20<02:31, 11.69s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:32<02:22, 11.85s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:44<02:09, 11.79s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:56<01:58, 11.89s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [03:08<01:46, 11.89s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [03:20<01:35, 11.89s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [03:31<01:23, 11.87s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [03:43<01:11, 11.85s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:55<00:58, 11.79s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [04:06<00:46, 11.66s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [04:18<00:34, 11.61s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [04:30<00:23, 11.81s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [04:42<00:11, 11.82s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [04:54<00:00, 11.77s/it]
In [153]:
history_competition.to_csv("MLP_PARAMS_1.csv",index=False)
In [154]:
history_competition=pd.read_csv("MLP_PARAMS_1.csv")
In [155]:
history_competition.sort_values(by=['Fscore'],ascending=False)
Out[155]:
Loss Accuracy Fscore layers weights biases units
9 2.493940 0.258935 0.247341 2 ('random_normal_initializer',) ('random_normal_initializer',) 256
5 2.441079 0.248820 0.244889 2 ('random_normal_initializer',) ('random_uniform_initializer',) 256
13 2.427198 0.252529 0.237064 2 ('random_normal_initializer',) ('random_uniform_initializer',) 256
1 2.447052 0.269049 0.233423 2 ('random_uniform_initializer',) ('random_uniform_initializer',) 256
6 2.504672 0.256575 0.224740 5 ('random_normal_initializer',) ('random_uniform_initializer',) 256
4 2.449885 0.222522 0.209362 1 ('random_normal_initializer',) ('random_uniform_initializer',) 256
0 2.449420 0.244100 0.201127 1 ('random_uniform_initializer',) ('random_uniform_initializer',) 256
14 2.442891 0.241065 0.195643 5 ('random_normal_initializer',) ('random_uniform_initializer',) 256
2 2.475966 0.248820 0.194454 5 ('random_uniform_initializer',) ('random_uniform_initializer',) 256
10 2.495870 0.236008 0.192777 5 ('random_normal_initializer',) ('random_normal_initializer',) 256
12 2.476855 0.212070 0.172576 1 ('random_normal_initializer',) ('random_uniform_initializer',) 256
8 2.385365 0.226568 0.152916 1 ('random_normal_initializer',) ('random_normal_initializer',) 256
7 2.418595 0.237357 0.138650 10 ('random_normal_initializer',) ('random_uniform_initializer',) 256
15 2.465148 0.214767 0.109016 10 ('random_normal_initializer',) ('random_uniform_initializer',) 256
11 2.442924 0.212070 0.096342 10 ('random_normal_initializer',) ('random_normal_initializer',) 256
3 2.476034 0.178355 0.038114 10 ('random_uniform_initializer',) ('random_uniform_initializer',) 256
Najlepszym modelem okazał się model o dwóch warstwach i wagami i biasami z rozkładu normalnego.

Teraz należy sprawdzić :

- Liczbę epok uczenia
- Metody optymalizacji modelu
-Różne liczności paczek (mini batch)
-Różne wartości współczynnika uczenia

Metody optymalizacji modelu

Adam , SGD, NAdam

Docelowymi parametrami modelu jest najlepszy model z podpunktu wyżej

In [234]:
history_competition=pd.DataFrame(columns=COLUMNS)
history_competition
Out[234]:
Loss Accuracy Fscore layers weights biases units optim lr batch size epochs
In [237]:
EPOCH = [25,50,100]
BATCHES  = [ 100, 200, 400]
LR = [0.001,0.01,0.005]
for epoch in EPOCH:
    for batch in BATCHES:
        for lr in LR:    
            print('NEW LOOP')
            history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.Nadam(learning_rate=lr),epoch=epoch))
            print('NADAM',epoch,batch,lr,'DONE')
            history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.Adam(learning_rate=lr),epoch=epoch))
            print('ADAM',epoch,batch,lr,'DONE')
            history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.SGD(learning_rate=lr),epoch=epoch))
            print('SGD',epoch,batch,lr,'DONE')
            history_competition.to_csv("MLP_PARAMS_2.csv",index=False)







  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:12<04:52, 12.20s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:25<04:48, 12.56s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:38<04:38, 12.68s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:51<04:28, 12.77s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [01:04<04:16, 12.81s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [01:17<04:04, 12.87s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [01:30<03:52, 12.89s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:43<03:39, 12.91s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:56<03:26, 12.91s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [02:09<03:13, 12.91s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [02:22<03:00, 12.91s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [02:35<02:48, 12.96s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [02:48<02:35, 12.96s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [03:01<02:22, 12.97s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [03:13<02:09, 12.92s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [03:26<01:56, 12.93s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [03:39<01:43, 12.98s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [03:52<01:30, 12.96s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [04:05<01:17, 12.94s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [04:18<01:04, 12.93s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [04:31<00:51, 12.87s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [04:44<00:38, 12.92s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [04:57<00:25, 12.96s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [05:10<00:12, 12.92s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:23<00:00, 12.92s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 100 0.001 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:05<02:00,  5.04s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:10<01:55,  5.04s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:15<01:51,  5.09s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:20<01:47,  5.10s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:25<01:41,  5.06s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:30<01:36,  5.09s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:35<01:31,  5.09s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:40<01:26,  5.11s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:45<01:21,  5.07s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:50<01:16,  5.08s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:55<01:10,  5.05s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:00<01:05,  5.06s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:05<01:00,  5.04s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:10<00:55,  5.04s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:16<00:50,  5.07s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:21<00:45,  5.05s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:26<00:40,  5.08s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:31<00:36,  5.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:36<00:31,  5.22s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:42<00:25,  5.19s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:47<00:20,  5.24s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:52<00:15,  5.25s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:57<00:10,  5.20s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:02<00:05,  5.14s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:07<00:00,  5.11s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 100 0.001 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:44,  4.36s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:08<01:39,  4.33s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:12<01:34,  4.32s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:17<01:30,  4.31s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:21<01:26,  4.31s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:25<01:22,  4.33s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:30<01:18,  4.36s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:34<01:14,  4.35s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:39<01:10,  4.39s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:43<01:05,  4.39s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:47<01:01,  4.36s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:52<00:56,  4.35s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:56<00:52,  4.34s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:00<00:47,  4.36s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:05<00:43,  4.33s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:09<00:39,  4.35s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:13<00:34,  4.37s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:18<00:30,  4.37s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:22<00:26,  4.41s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:27<00:21,  4.38s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:31<00:17,  4.41s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:35<00:13,  4.38s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:40<00:08,  4.40s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:44<00:04,  4.38s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:49<00:00,  4.36s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
SGD 25 100 0.001 DONE
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:12<05:10, 12.94s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:26<04:58, 12.99s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:39<04:45, 13.00s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:51<04:31, 12.92s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [01:04<04:18, 12.91s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [01:17<04:05, 12.92s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [01:30<03:52, 12.93s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:43<03:38, 12.87s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:56<03:25, 12.85s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [02:08<03:12, 12.81s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [02:21<02:59, 12.79s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [02:34<02:45, 12.73s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [02:47<02:33, 12.82s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [02:59<02:20, 12.78s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [03:12<02:07, 12.75s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [03:25<01:54, 12.74s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [03:38<01:42, 12.76s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [03:50<01:29, 12.78s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [04:03<01:16, 12.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [04:16<01:04, 12.83s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [04:29<00:51, 12.82s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [04:42<00:38, 12.78s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [04:54<00:25, 12.71s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [05:07<00:12, 12.72s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:19<00:00, 12.80s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 100 0.01 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:05<02:03,  5.15s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:10<01:58,  5.15s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:15<01:52,  5.12s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:20<01:48,  5.17s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:25<01:42,  5.13s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:30<01:37,  5.12s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:35<01:31,  5.08s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:40<01:26,  5.07s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:45<01:20,  5.05s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:51<01:17,  5.20s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:56<01:12,  5.16s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:01<01:06,  5.12s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:06<01:01,  5.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:11<00:55,  5.09s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:16<00:50,  5.07s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:21<00:45,  5.07s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:26<00:40,  5.05s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:31<00:35,  5.04s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:36<00:30,  5.07s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:41<00:25,  5.03s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:46<00:20,  5.03s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:51<00:15,  5.07s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:57<00:10,  5.07s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:02<00:05,  5.04s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:07<00:00,  5.09s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 100 0.01 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:45,  4.39s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:08<01:41,  4.40s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:13<01:37,  4.43s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:17<01:32,  4.40s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:21<01:27,  4.39s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:26<01:23,  4.38s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:30<01:18,  4.37s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:35<01:14,  4.37s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:39<01:09,  4.35s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:43<01:05,  4.37s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:48<01:01,  4.36s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:52<00:56,  4.36s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:56<00:52,  4.39s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:01<00:48,  4.38s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:05<00:44,  4.41s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:10<00:39,  4.38s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:14<00:34,  4.37s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:18<00:30,  4.35s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:23<00:26,  4.33s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:27<00:21,  4.35s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:31<00:17,  4.37s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:36<00:13,  4.37s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:40<00:08,  4.42s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:45<00:04,  4.41s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:49<00:00,  4.40s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
SGD 25 100 0.01 DONE
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:13<05:17, 13.21s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:26<05:02, 13.16s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:38<04:46, 13.02s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:51<04:30, 12.89s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [01:04<04:16, 12.82s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [01:16<04:03, 12.81s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [01:29<03:50, 12.81s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:42<03:39, 12.90s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:55<03:26, 12.92s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [02:08<03:13, 12.90s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [02:21<02:59, 12.85s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [02:34<02:46, 12.83s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [02:46<02:33, 12.78s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [02:59<02:20, 12.78s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [03:12<02:08, 12.81s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [03:25<01:54, 12.76s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [03:37<01:41, 12.70s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [03:50<01:28, 12.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [04:02<01:15, 12.63s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [04:15<01:03, 12.64s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [04:28<00:50, 12.60s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [04:40<00:37, 12.66s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [04:53<00:25, 12.71s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [05:07<00:13, 13.09s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:23<00:00, 12.95s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 100 0.005 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:05<02:11,  5.46s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:10<02:04,  5.39s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:16<02:01,  5.50s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:22<01:58,  5.63s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:27<01:50,  5.53s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:34<01:51,  5.89s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:41<01:51,  6.21s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:46<01:40,  5.89s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:51<01:30,  5.65s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:56<01:21,  5.46s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:01<01:14,  5.36s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:06<01:08,  5.25s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:11<01:02,  5.18s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:16<00:56,  5.10s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:21<00:50,  5.08s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:27<00:46,  5.15s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:32<00:41,  5.14s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:37<00:35,  5.12s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:42<00:30,  5.09s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:47<00:25,  5.06s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:52<00:20,  5.04s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:57<00:15,  5.01s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [02:02<00:09,  5.00s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:07<00:05,  5.00s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:12<00:00,  5.28s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 100 0.005 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:44,  4.35s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:08<01:39,  4.34s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:13<01:35,  4.34s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:17<01:31,  4.35s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:21<01:26,  4.33s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:25<01:22,  4.32s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:30<01:18,  4.35s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:34<01:13,  4.34s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:39<01:09,  4.35s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:43<01:04,  4.33s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:47<01:00,  4.34s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:52<00:56,  4.37s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:56<00:52,  4.41s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:00<00:48,  4.39s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:05<00:43,  4.37s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:09<00:39,  4.36s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:13<00:34,  4.34s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:18<00:30,  4.34s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:22<00:25,  4.33s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:26<00:21,  4.34s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:31<00:17,  4.32s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:35<00:12,  4.31s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:39<00:08,  4.31s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:44<00:04,  4.32s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:48<00:00,  4.34s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
SGD 25 100 0.005 DONE
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:07<02:56,  7.35s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:14<02:49,  7.35s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:22<02:43,  7.43s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:29<02:35,  7.40s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:36<02:27,  7.36s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:44<02:23,  7.54s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:52<02:17,  7.61s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:00<02:08,  7.57s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:07<02:01,  7.59s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [01:15<01:52,  7.53s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:22<01:45,  7.52s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:30<01:38,  7.55s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:37<01:30,  7.54s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:45<01:21,  7.45s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:55<01:24,  8.44s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [02:06<01:22,  9.11s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [02:14<01:09,  8.69s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [02:23<01:01,  8.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [02:30<00:50,  8.37s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [02:37<00:40,  8.08s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [02:45<00:31,  7.91s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [02:52<00:23,  7.76s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [03:00<00:15,  7.72s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [03:07<00:07,  7.64s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:16<00:00,  7.85s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 200 0.001 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:30,  3.79s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:07<01:24,  3.69s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:10<01:21,  3.69s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:14<01:15,  3.61s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:17<01:11,  3.56s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:21<01:07,  3.57s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:25<01:04,  3.61s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:28<01:00,  3.55s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:31<00:56,  3.51s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:35<00:51,  3.45s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:38<00:47,  3.42s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:41<00:44,  3.41s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:45<00:40,  3.40s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:48<00:37,  3.39s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:52<00:33,  3.40s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:55<00:30,  3.38s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:58<00:26,  3.37s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:02<00:23,  3.38s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:05<00:20,  3.37s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:08<00:16,  3.36s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:12<00:13,  3.37s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:15<00:10,  3.37s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:19<00:06,  3.37s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:22<00:03,  3.36s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:25<00:00,  3.43s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 200 0.001 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:13,  3.06s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:09,  3.04s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:09<01:12,  3.27s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:09,  3.32s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:16<01:05,  3.29s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:19<01:01,  3.24s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:22<00:57,  3.19s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:25<00:53,  3.14s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:28<00:49,  3.11s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:31<00:46,  3.11s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:34<00:42,  3.07s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:37<00:39,  3.05s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:40<00:36,  3.05s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:43<00:33,  3.03s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:46<00:30,  3.03s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:49<00:27,  3.02s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:52<00:24,  3.02s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:56<00:21,  3.04s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:59<00:18,  3.04s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:02<00:15,  3.03s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:05<00:12,  3.04s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:08<00:09,  3.03s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:11<00:06,  3.03s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:14<00:03,  3.02s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:17<00:00,  3.09s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
SGD 25 200 0.001 DONE
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:07<02:53,  7.24s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:14<02:46,  7.24s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:21<02:40,  7.31s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:28<02:31,  7.22s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:35<02:22,  7.13s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:42<02:14,  7.06s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:50<02:07,  7.11s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:57<02:01,  7.15s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:04<01:54,  7.17s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [01:11<01:47,  7.19s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:18<01:40,  7.21s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:26<01:34,  7.24s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:34<01:29,  7.45s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:42<01:23,  7.58s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:49<01:16,  7.60s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:57<01:08,  7.56s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [02:04<00:59,  7.48s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [02:11<00:51,  7.41s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [02:19<00:45,  7.53s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [02:26<00:37,  7.48s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [02:34<00:29,  7.41s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [02:41<00:22,  7.36s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [02:48<00:14,  7.34s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:55<00:07,  7.29s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:03<00:00,  7.32s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 200 0.01 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:20,  3.35s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:17,  3.35s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:10<01:13,  3.36s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:10,  3.35s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:16<01:07,  3.37s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:20<01:03,  3.36s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:23<01:00,  3.35s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:26<00:57,  3.36s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:30<00:53,  3.37s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:33<00:50,  3.35s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:36<00:46,  3.35s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:40<00:43,  3.35s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:43<00:40,  3.35s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:46<00:36,  3.33s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:50<00:33,  3.34s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:53<00:29,  3.33s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:56<00:26,  3.33s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:00<00:23,  3.35s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:03<00:20,  3.34s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:06<00:16,  3.34s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:10<00:13,  3.33s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:13<00:10,  3.34s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:16<00:06,  3.34s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:20<00:03,  3.35s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:23<00:00,  3.35s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 200 0.01 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:12,  3.02s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:09,  3.03s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:09<01:06,  3.04s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:12<01:03,  3.03s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:15<01:00,  3.04s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:18<00:57,  3.04s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:21<00:55,  3.10s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:25<00:56,  3.34s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:29<00:57,  3.62s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:33<00:55,  3.70s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:36<00:50,  3.62s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:40<00:45,  3.52s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:43<00:41,  3.44s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:46<00:36,  3.33s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:49<00:32,  3.22s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:52<00:28,  3.14s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:55<00:24,  3.10s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:58<00:21,  3.06s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:01<00:18,  3.02s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:04<00:14,  3.00s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:07<00:11,  2.99s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:10<00:08,  2.99s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:13<00:05,  2.98s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:16<00:02,  2.97s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:19<00:00,  3.17s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
SGD 25 200 0.01 DONE
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:08<03:20,  8.36s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:17<03:16,  8.54s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:25<03:03,  8.35s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:33<02:52,  8.22s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:40<02:39,  7.98s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:47<02:27,  7.77s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:56<02:22,  7.91s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:04<02:18,  8.15s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:12<02:08,  8.04s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [01:20<01:58,  7.88s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:27<01:48,  7.73s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:35<01:40,  7.73s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:43<01:34,  7.88s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:50<01:25,  7.79s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:58<01:16,  7.68s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [02:06<01:09,  7.73s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [02:14<01:03,  7.92s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [02:22<00:54,  7.81s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [02:29<00:46,  7.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [02:37<00:39,  7.82s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [02:45<00:30,  7.74s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [02:53<00:23,  7.93s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [03:01<00:15,  7.76s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [03:08<00:07,  7.59s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:15<00:00,  7.82s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 200 0.005 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:22,  3.45s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:18,  3.41s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:10<01:14,  3.39s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:11,  3.39s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:16<01:07,  3.37s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:20<01:03,  3.36s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:23<01:00,  3.39s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:26<00:57,  3.38s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:30<00:53,  3.37s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:33<00:50,  3.35s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:37<00:47,  3.40s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:40<00:44,  3.39s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:43<00:40,  3.37s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:47<00:37,  3.40s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:50<00:33,  3.39s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:54<00:30,  3.37s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:57<00:27,  3.39s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:00<00:23,  3.39s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:04<00:20,  3.37s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:07<00:17,  3.43s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:11<00:14,  3.62s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:15<00:10,  3.52s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:18<00:06,  3.45s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:21<00:03,  3.39s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:24<00:00,  3.40s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 200 0.005 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:11,  2.97s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:08,  2.96s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:08<01:04,  2.94s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:11<01:01,  2.93s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:14<00:59,  2.95s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:18<00:59,  3.16s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:22<01:02,  3.49s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:26<01:01,  3.59s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:29<00:55,  3.46s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:32<00:49,  3.31s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:35<00:44,  3.20s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:38<00:40,  3.12s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:41<00:36,  3.05s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:44<00:33,  3.01s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:48<00:32,  3.26s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:52<00:32,  3.60s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:56<00:30,  3.85s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:01<00:28,  4.03s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:05<00:24,  4.15s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:09<00:20,  4.03s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:13<00:16,  4.16s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:18<00:12,  4.22s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:22<00:08,  4.26s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:27<00:04,  4.31s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:31<00:00,  3.66s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
SGD 25 200 0.005 DONE
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:05<02:21,  5.88s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:11<02:11,  5.72s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:18<02:17,  6.25s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:26<02:17,  6.57s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:31<02:02,  6.13s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:35<01:48,  5.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:42<01:50,  6.11s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:50<01:49,  6.45s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:57<01:47,  6.70s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [01:04<01:43,  6.92s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:12<01:38,  7.01s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:18<01:30,  6.94s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:23<01:15,  6.27s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:29<01:08,  6.25s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:36<01:04,  6.47s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:43<00:58,  6.51s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:50<00:53,  6.73s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:57<00:48,  6.87s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [02:04<00:40,  6.74s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [02:11<00:34,  6.85s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [02:17<00:26,  6.64s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [02:22<00:18,  6.21s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [02:28<00:12,  6.21s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:34<00:05,  5.92s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:38<00:00,  6.35s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 400 0.001 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:07,  2.79s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:04,  2.79s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:09<01:08,  3.14s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:10,  3.36s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:17<01:11,  3.58s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:21<01:08,  3.63s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:25<01:06,  3.69s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:29<01:05,  3.86s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:33<01:00,  3.81s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:36<00:53,  3.57s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:38<00:46,  3.34s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:41<00:41,  3.19s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:45<00:39,  3.30s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:48<00:36,  3.33s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:52<00:34,  3.46s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:56<00:31,  3.55s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:59<00:27,  3.43s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:02<00:22,  3.23s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:05<00:19,  3.33s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:09<00:17,  3.45s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:13<00:14,  3.53s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:16<00:10,  3.56s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:20<00:07,  3.61s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:24<00:03,  3.67s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:27<00:00,  3.51s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 400 0.001 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:19,  3.30s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:16,  3.34s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:10<01:15,  3.42s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:12,  3.44s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:17<01:09,  3.47s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:20<01:05,  3.45s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:24<01:02,  3.45s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:27<00:57,  3.36s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:30<00:50,  3.15s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:32<00:45,  3.02s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:35<00:41,  2.98s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:38<00:38,  2.94s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:41<00:34,  2.85s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:43<00:30,  2.77s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:46<00:27,  2.73s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:48<00:24,  2.68s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:51<00:21,  2.70s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:54<00:18,  2.70s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:57<00:16,  2.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:59<00:13,  2.72s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:02<00:11,  2.75s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:06<00:09,  3.04s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:10<00:06,  3.41s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:14<00:03,  3.53s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:17<00:00,  3.11s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
SGD 25 400 0.001 DONE
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:57,  4.90s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:09<01:52,  4.91s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:14<01:47,  4.87s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:19<01:41,  4.85s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:24<01:35,  4.79s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:28<01:30,  4.75s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:33<01:24,  4.72s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:38<01:19,  4.70s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:42<01:14,  4.67s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:47<01:09,  4.66s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:51<01:05,  4.65s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:56<01:00,  4.64s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:01<00:55,  4.64s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:05<00:50,  4.64s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:10<00:46,  4.62s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:14<00:41,  4.62s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:19<00:36,  4.62s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:24<00:32,  4.63s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:28<00:27,  4.61s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:33<00:23,  4.62s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:38<00:18,  4.61s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:42<00:13,  4.61s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:47<00:09,  4.61s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:51<00:04,  4.60s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:56<00:00,  4.66s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 400 0.01 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:06,  2.76s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:03,  2.76s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:08<01:00,  2.76s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:10<00:57,  2.75s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:13<00:54,  2.74s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:16<00:51,  2.73s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:19<00:49,  2.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:21<00:46,  2.75s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:24<00:43,  2.75s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:27<00:41,  2.76s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:30<00:38,  2.75s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:32<00:35,  2.74s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:35<00:32,  2.73s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:38<00:30,  2.74s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:41<00:27,  2.75s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:43<00:24,  2.75s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:46<00:21,  2.74s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:49<00:19,  2.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:52<00:16,  2.76s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:54<00:13,  2.76s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [00:57<00:10,  2.75s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:00<00:08,  2.74s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:03<00:05,  2.75s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:05<00:02,  2.74s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:08<00:00,  2.75s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 400 0.01 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:02,  2.62s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<00:59,  2.60s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:07<00:57,  2.61s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:10<00:54,  2.61s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:13<00:52,  2.61s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:15<00:49,  2.61s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:18<00:46,  2.61s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:20<00:44,  2.60s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:23<00:41,  2.59s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:25<00:38,  2.58s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:28<00:36,  2.58s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:31<00:33,  2.58s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:33<00:30,  2.57s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:36<00:28,  2.57s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:38<00:25,  2.57s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:41<00:23,  2.59s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:43<00:20,  2.57s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:46<00:18,  2.58s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:49<00:15,  2.57s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:51<00:12,  2.58s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [00:54<00:10,  2.57s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [00:56<00:07,  2.56s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [00:59<00:05,  2.58s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:02<00:02,  2.59s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:04<00:00,  2.58s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
SGD 25 400 0.01 DONE
NEW LOOP







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:52,  4.67s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:09<01:47,  4.66s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:13<01:42,  4.67s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:18<01:37,  4.66s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:23<01:32,  4.64s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:27<01:28,  4.64s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:32<01:23,  4.63s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:37<01:18,  4.62s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:41<01:13,  4.62s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:46<01:11,  4.80s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:52<01:08,  4.91s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:56<01:03,  4.89s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:02<01:00,  5.06s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:07<00:55,  5.03s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:12<00:49,  4.92s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:16<00:43,  4.83s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:21<00:38,  4.77s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:25<00:33,  4.72s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:30<00:28,  4.71s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:35<00:23,  4.69s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:40<00:18,  4.73s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:44<00:14,  4.71s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:49<00:09,  4.68s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:53<00:04,  4.65s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:58<00:00,  4.74s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
NADAM 25 400 0.005 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:05,  2.75s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:03,  2.74s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:08<01:00,  2.75s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:10<00:57,  2.74s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:13<00:54,  2.73s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:16<00:51,  2.74s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:19<00:49,  2.74s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:21<00:46,  2.74s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:24<00:43,  2.74s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:27<00:41,  2.74s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:30<00:38,  2.74s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:32<00:35,  2.73s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:35<00:32,  2.73s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:38<00:30,  2.74s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:41<00:27,  2.74s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:43<00:24,  2.74s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:46<00:21,  2.74s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:49<00:19,  2.74s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:52<00:16,  2.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:54<00:13,  2.74s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [00:57<00:10,  2.74s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:00<00:08,  2.74s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:02<00:05,  2.72s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:05<00:02,  2.72s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:08<00:00,  2.74s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]
ADAM 25 400 0.005 DONE







  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:03,  2.63s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:00,  2.61s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:07<00:57,  2.60s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:10<00:54,  2.62s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:13<00:52,  2.61s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:15<00:49,  2.61s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:18<00:46,  2.60s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:20<00:44,  2.60s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:23<00:41,  2.59s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:25<00:38,  2.59s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:28<00:36,  2.58s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:31<00:33,  2.59s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:33<00:30,  2.58s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:36<00:28,  2.58s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:38<00:25,  2.57s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:41<00:23,  2.57s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:43<00:20,  2.57s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:46<00:17,  2.56s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:49<00:15,  2.56s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:51<00:12,  2.56s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [00:54<00:10,  2.56s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [00:56<00:07,  2.57s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [00:59<00:05,  2.57s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:01<00:02,  2.58s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:04<00:00,  2.58s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 25 400 0.005 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:12<09:53, 12.11s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:24<09:40, 12.09s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:36<09:28, 12.10s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:48<09:16, 12.09s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [01:00<09:05, 12.13s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [01:12<08:53, 12.12s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [01:24<08:40, 12.10s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [01:37<08:30, 12.16s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:49<08:17, 12.13s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [02:01<08:04, 12.12s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [02:13<07:51, 12.10s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [02:25<07:39, 12.08s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [02:37<07:27, 12.08s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [02:49<07:14, 12.07s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [03:01<07:02, 12.08s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [03:13<06:49, 12.05s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [03:25<06:36, 12.03s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [03:37<06:24, 12.02s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [03:49<06:12, 12.01s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [04:01<06:00, 12.01s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [04:13<05:48, 12.02s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [04:25<05:36, 12.00s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [04:37<05:24, 12.03s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [04:49<05:15, 12.12s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [05:02<05:03, 12.13s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [05:14<04:50, 12.09s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [05:25<04:37, 12.05s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [05:38<04:24, 12.04s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [05:49<04:12, 12.02s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [06:01<03:59, 11.99s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [06:13<03:47, 11.97s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [06:26<03:37, 12.06s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [06:38<03:27, 12.22s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [06:51<03:16, 12.31s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [07:03<03:05, 12.38s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [07:15<02:51, 12.26s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [07:27<02:38, 12.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [07:39<02:25, 12.12s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [07:51<02:12, 12.07s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [08:03<02:00, 12.04s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [08:15<01:48, 12.00s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [08:27<01:35, 11.98s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [08:39<01:24, 12.02s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [08:51<01:12, 12.02s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [09:03<01:00, 12.04s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [09:15<00:48, 12.01s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [09:27<00:36, 12.02s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [09:39<00:24, 12.03s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [09:51<00:12, 12.00s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [10:03<00:00, 12.07s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 100 0.001 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:59,  4.89s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:53,  4.87s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:14<03:47,  4.84s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:19<03:41,  4.82s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:24<03:37,  4.83s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:28<03:33,  4.84s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:33<03:27,  4.83s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:38<03:22,  4.82s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:43<03:17,  4.83s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:48<03:13,  4.83s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:53<03:09,  4.85s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:58<03:04,  4.85s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:02<02:58,  4.83s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:07<02:53,  4.82s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:12<02:48,  4.80s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:17<02:43,  4.80s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:21<02:38,  4.80s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:26<02:34,  4.82s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:31<02:30,  4.84s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:36<02:25,  4.85s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:41<02:20,  4.86s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:46<02:15,  4.84s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:51<02:10,  4.83s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:55<02:05,  4.83s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:00<02:00,  4.82s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:05<01:55,  4.82s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:10<01:51,  4.83s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:15<01:46,  4.83s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:20<01:41,  4.83s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:24<01:36,  4.82s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:29<01:31,  4.81s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:34<01:26,  4.80s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:39<01:21,  4.79s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:43<01:16,  4.81s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:48<01:12,  4.81s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:53<01:07,  4.80s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:58<01:02,  4.80s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [03:03<00:57,  4.80s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [03:08<00:52,  4.81s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:12<00:48,  4.81s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:17<00:43,  4.79s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:22<00:38,  4.76s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:27<00:33,  4.77s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:31<00:28,  4.75s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:36<00:23,  4.78s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:41<00:19,  4.81s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:46<00:14,  4.81s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:51<00:09,  4.80s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:55<00:04,  4.81s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [04:00<00:00,  4.81s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 100 0.001 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:26,  4.22s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:08<03:21,  4.20s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:12<03:16,  4.18s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:16<03:11,  4.17s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:20<03:07,  4.16s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:24<03:02,  4.15s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:29<02:57,  4.13s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:33<02:52,  4.12s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:37<02:48,  4.12s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:41<02:44,  4.11s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:45<02:40,  4.11s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:49<02:37,  4.13s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:53<02:33,  4.15s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:57<02:28,  4.13s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:01<02:24,  4.13s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:06<02:20,  4.14s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:10<02:16,  4.13s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:14<02:12,  4.13s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:18<02:07,  4.12s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:22<02:03,  4.11s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:26<01:59,  4.14s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:30<01:55,  4.14s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:35<01:51,  4.13s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:39<01:47,  4.15s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:43<01:43,  4.16s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:47<01:39,  4.16s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:51<01:35,  4.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:55<01:31,  4.14s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:59<01:26,  4.12s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:04<01:22,  4.12s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:08<01:17,  4.10s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:12<01:13,  4.11s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:16<01:09,  4.11s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:20<01:05,  4.11s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:24<01:01,  4.13s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:28<00:57,  4.13s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:32<00:53,  4.15s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:37<00:50,  4.18s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:41<00:45,  4.17s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:45<00:41,  4.16s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:49<00:37,  4.14s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:53<00:33,  4.14s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:57<00:28,  4.13s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:01<00:24,  4.12s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:06<00:20,  4.12s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:10<00:16,  4.10s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:14<00:12,  4.13s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:18<00:08,  4.12s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:22<00:04,  4.13s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:26<00:00,  4.13s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 50 100 0.001 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:11<09:38, 11.81s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:23<09:26, 11.81s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:35<09:16, 11.84s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:47<09:02, 11.80s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:59<08:50, 11.79s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [01:10<08:39, 11.81s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [01:23<08:36, 12.02s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [01:35<08:24, 12.02s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:47<08:09, 11.93s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:58<07:55, 11.89s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [02:10<07:43, 11.87s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [02:22<07:29, 11.83s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [02:34<07:16, 11.79s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [02:45<07:04, 11.78s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [02:57<06:51, 11.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [03:09<06:39, 11.74s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [03:21<06:27, 11.73s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [03:32<06:15, 11.73s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [03:44<06:04, 11.75s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [03:56<05:52, 11.73s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [04:07<05:39, 11.72s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [04:19<05:28, 11.72s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [04:31<05:16, 11.74s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [04:43<05:04, 11.71s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [04:54<04:52, 11.70s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [05:06<04:41, 11.72s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [05:18<04:29, 11.74s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [05:30<04:19, 11.78s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [05:41<04:07, 11.76s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [05:53<03:54, 11.75s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [06:05<03:42, 11.74s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [06:17<03:30, 11.71s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [06:28<03:19, 11.73s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [06:40<03:07, 11.72s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [06:52<02:55, 11.72s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [07:03<02:44, 11.72s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [07:15<02:32, 11.77s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [07:27<02:21, 11.79s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [07:39<02:09, 11.76s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [07:51<01:57, 11.77s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [08:02<01:45, 11.73s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [08:14<01:33, 11.72s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [08:26<01:21, 11.71s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [08:37<01:10, 11.72s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [08:49<00:58, 11.74s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [09:01<00:47, 11.76s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [09:13<00:35, 11.77s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [09:25<00:23, 11.76s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [09:36<00:11, 11.79s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [09:48<00:00, 11.77s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 100 0.01 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:56,  4.82s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:52,  4.84s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:14<03:46,  4.82s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:19<03:40,  4.79s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:23<03:34,  4.76s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:28<03:29,  4.77s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:33<03:24,  4.75s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:38<03:20,  4.76s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:42<03:14,  4.75s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:47<03:09,  4.74s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:52<03:05,  4.75s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:57<03:01,  4.77s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:01<02:56,  4.77s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:06<02:51,  4.75s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:11<02:46,  4.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:16<02:41,  4.75s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:20<02:37,  4.76s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:25<02:32,  4.76s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:30<02:27,  4.76s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:35<02:22,  4.77s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:40<02:18,  4.76s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:44<02:12,  4.75s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:49<02:08,  4.76s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:54<02:03,  4.75s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:58<01:58,  4.74s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:03<01:53,  4.73s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:08<01:49,  4.76s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:13<01:44,  4.73s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:18<01:40,  4.78s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:22<01:35,  4.77s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:27<01:30,  4.75s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:32<01:25,  4.76s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:37<01:21,  4.79s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:41<01:16,  4.79s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:46<01:11,  4.78s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:51<01:07,  4.79s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:56<01:01,  4.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [03:00<00:57,  4.77s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [03:05<00:52,  4.76s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:10<00:47,  4.77s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:15<00:42,  4.75s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:19<00:37,  4.75s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:24<00:33,  4.73s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:29<00:28,  4.74s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:34<00:23,  4.74s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:39<00:19,  4.78s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:43<00:14,  4.76s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:48<00:09,  4.75s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:53<00:04,  4.75s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:57<00:00,  4.76s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 100 0.01 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:22,  4.14s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:08<03:19,  4.15s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:12<03:14,  4.14s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:16<03:09,  4.12s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:20<03:05,  4.11s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:24<03:02,  4.16s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:28<02:57,  4.13s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:33<02:53,  4.12s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:37<02:49,  4.13s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:41<02:46,  4.16s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:45<02:42,  4.16s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:49<02:37,  4.15s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:53<02:33,  4.15s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:57<02:28,  4.13s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:02<02:24,  4.14s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:06<02:20,  4.13s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:10<02:15,  4.12s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:14<02:12,  4.14s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:18<02:07,  4.13s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:22<02:03,  4.13s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:26<01:59,  4.13s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:30<01:55,  4.13s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:35<01:51,  4.13s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:39<01:47,  4.15s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:43<01:43,  4.16s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:47<01:39,  4.14s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:51<01:35,  4.14s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:55<01:31,  4.14s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:59<01:26,  4.13s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:04<01:22,  4.15s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:08<01:18,  4.14s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:12<01:14,  4.13s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:16<01:10,  4.14s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:20<01:05,  4.12s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:24<01:02,  4.14s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:28<00:57,  4.13s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:33<00:53,  4.14s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:37<00:49,  4.12s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:41<00:45,  4.11s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:45<00:40,  4.10s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:49<00:37,  4.14s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:53<00:33,  4.14s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:57<00:28,  4.13s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:01<00:24,  4.13s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:06<00:20,  4.15s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:10<00:16,  4.13s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:14<00:12,  4.12s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:18<00:08,  4.12s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:22<00:04,  4.12s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:26<00:00,  4.13s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 50 100 0.01 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:11<09:38, 11.81s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:23<09:27, 11.83s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:35<09:15, 11.83s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:47<09:04, 11.84s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:59<08:52, 11.82s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [01:10<08:39, 11.80s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [01:22<08:27, 11.79s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [01:34<08:14, 11.77s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:46<08:02, 11.77s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:57<07:50, 11.76s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [02:09<07:38, 11.75s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [02:21<07:28, 11.79s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [02:33<07:16, 11.80s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [02:45<07:03, 11.77s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [02:56<06:51, 11.76s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [03:08<06:39, 11.76s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [03:20<06:27, 11.75s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [03:32<06:17, 11.80s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [03:43<06:05, 11.80s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [03:55<05:53, 11.80s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [04:07<05:41, 11.78s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [04:19<05:29, 11.78s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [04:30<05:17, 11.76s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [04:42<05:05, 11.73s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [04:54<04:53, 11.75s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [05:06<04:41, 11.74s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [05:17<04:29, 11.73s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [05:29<04:17, 11.71s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [05:41<04:05, 11.71s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [05:52<03:54, 11.70s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [06:04<03:42, 11.71s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [06:16<03:31, 11.73s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [06:28<03:19, 11.71s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [06:39<03:07, 11.72s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [06:51<02:56, 11.75s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [07:03<02:44, 11.73s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [07:15<02:32, 11.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [07:26<02:21, 11.75s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [07:38<02:09, 11.74s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [07:50<01:57, 11.74s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [08:02<01:45, 11.74s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [08:13<01:34, 11.78s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [08:25<01:22, 11.79s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [08:37<01:10, 11.78s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [08:49<00:58, 11.76s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [09:01<00:47, 11.79s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [09:12<00:35, 11.76s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [09:24<00:23, 11.73s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [09:36<00:11, 11.74s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [09:48<00:00, 11.76s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 100 0.005 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:05<04:16,  5.24s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:10<04:15,  5.32s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:16<04:18,  5.49s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:22<04:11,  5.47s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:27<04:06,  5.49s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:32<03:58,  5.41s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:37<03:47,  5.30s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:42<03:34,  5.11s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:47<03:25,  5.01s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:52<03:17,  4.93s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:56<03:12,  4.92s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [01:01<03:05,  4.89s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:06<02:59,  4.84s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:11<02:54,  4.84s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:16<02:48,  4.82s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:20<02:43,  4.80s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:25<02:38,  4.81s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:30<02:33,  4.79s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:35<02:28,  4.78s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:39<02:23,  4.77s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:44<02:18,  4.78s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:49<02:13,  4.77s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:54<02:08,  4.76s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:58<02:03,  4.75s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:03<01:59,  4.76s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:08<01:54,  4.76s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:13<01:49,  4.78s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:17<01:44,  4.75s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:22<01:39,  4.74s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:27<01:35,  4.78s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:32<01:30,  4.77s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:37<01:25,  4.77s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:41<01:21,  4.78s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:46<01:16,  4.77s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:51<01:11,  4.77s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:56<01:06,  4.77s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [03:00<01:01,  4.74s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [03:05<00:56,  4.74s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [03:10<00:52,  4.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:15<00:47,  4.73s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:19<00:42,  4.74s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:24<00:37,  4.74s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:29<00:33,  4.74s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:34<00:28,  4.74s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:38<00:23,  4.76s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:43<00:19,  4.76s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:48<00:14,  4.75s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:53<00:09,  4.75s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:57<00:04,  4.73s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [04:02<00:00,  4.85s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 100 0.005 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:30,  4.29s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:08<03:24,  4.25s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:12<03:17,  4.21s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:16<03:13,  4.20s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:20<03:09,  4.22s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:25<03:05,  4.22s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:29<03:00,  4.19s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:33<02:55,  4.18s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:37<02:51,  4.19s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:41<02:47,  4.18s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:45<02:41,  4.15s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:50<02:37,  4.16s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:54<02:33,  4.14s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:58<02:29,  4.15s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:02<02:25,  4.16s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:06<02:22,  4.19s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:11<02:18,  4.19s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:15<02:13,  4.17s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:19<02:09,  4.17s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:23<02:04,  4.16s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:27<02:00,  4.17s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:31<01:56,  4.16s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:35<01:52,  4.15s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:40<01:48,  4.17s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:44<01:44,  4.18s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:48<01:39,  4.14s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:52<01:35,  4.14s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:56<01:31,  4.14s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:00<01:26,  4.14s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:04<01:22,  4.13s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:08<01:18,  4.11s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:13<01:14,  4.13s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:17<01:10,  4.13s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:21<01:06,  4.13s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:25<01:01,  4.12s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:29<00:57,  4.12s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:33<00:53,  4.11s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:37<00:49,  4.10s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:41<00:45,  4.12s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:46<00:41,  4.11s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:50<00:37,  4.13s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:54<00:33,  4.13s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:58<00:28,  4.13s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:02<00:24,  4.13s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:06<00:20,  4.13s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:10<00:16,  4.12s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:14<00:12,  4.12s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:19<00:08,  4.12s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:23<00:04,  4.12s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:27<00:00,  4.15s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 50 100 0.005 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:06<05:35,  6.84s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:13<05:27,  6.83s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:20<05:20,  6.81s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:27<05:13,  6.81s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:34<05:06,  6.80s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:40<04:58,  6.79s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:47<04:51,  6.78s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:54<04:45,  6.80s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:01<04:38,  6.79s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:07<04:31,  6.79s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [01:14<04:24,  6.79s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [01:21<04:17,  6.77s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:28<04:10,  6.77s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:34<04:03,  6.77s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:41<03:56,  6.77s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:48<03:50,  6.78s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:55<03:43,  6.78s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [02:02<03:36,  6.77s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [02:08<03:30,  6.78s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [02:15<03:23,  6.78s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [02:22<03:16,  6.77s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [02:29<03:09,  6.78s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [02:35<03:02,  6.78s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [02:42<02:56,  6.78s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:49<02:49,  6.77s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:56<02:42,  6.78s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [03:03<02:35,  6.77s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [03:09<02:29,  6.77s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [03:16<02:22,  6.77s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [03:23<02:15,  6.77s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [03:30<02:08,  6.77s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [03:37<02:04,  6.90s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [03:44<01:58,  6.97s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [03:53<02:03,  7.70s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [04:01<01:55,  7.68s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [04:08<01:44,  7.49s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [04:15<01:35,  7.33s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [04:22<01:27,  7.26s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [04:29<01:18,  7.14s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [04:36<01:10,  7.06s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [04:43<01:02,  6.99s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [04:50<00:55,  6.95s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [04:57<00:48,  6.96s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [05:03<00:41,  6.92s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [05:10<00:34,  6.91s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [05:17<00:27,  6.95s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [05:24<00:20,  6.98s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [05:31<00:13,  6.97s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [05:38<00:06,  6.94s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:47<00:00,  6.94s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 200 0.001 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:03<02:42,  3.31s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:06<02:37,  3.28s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:09<02:33,  3.26s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:12<02:29,  3.24s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:16<02:25,  3.24s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:19<02:21,  3.22s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:22<02:18,  3.21s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:25<02:15,  3.22s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:28<02:11,  3.22s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:32<02:09,  3.23s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:35<02:05,  3.22s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:38<02:02,  3.23s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:41<01:59,  3.23s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:45<01:56,  3.23s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:48<01:53,  3.23s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:51<01:50,  3.24s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:54<01:46,  3.23s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:58<01:43,  3.22s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:01<01:39,  3.22s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:04<01:36,  3.21s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:07<01:33,  3.22s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:10<01:30,  3.23s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:14<01:27,  3.23s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:17<01:23,  3.22s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:20<01:20,  3.22s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:23<01:17,  3.21s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:26<01:13,  3.22s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:30<01:10,  3.21s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:33<01:07,  3.23s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:36<01:04,  3.22s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:39<01:01,  3.22s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:43<00:58,  3.23s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:46<00:55,  3.25s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:49<00:51,  3.23s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:52<00:48,  3.23s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:56<00:45,  3.23s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:59<00:41,  3.23s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:02<00:38,  3.22s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:05<00:35,  3.22s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:08<00:32,  3.22s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:12<00:28,  3.21s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:15<00:25,  3.21s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:18<00:22,  3.22s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:21<00:19,  3.22s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:25<00:16,  3.21s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:28<00:12,  3.22s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:31<00:09,  3.22s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:34<00:06,  3.21s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:37<00:03,  3.23s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:41<00:00,  3.23s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 200 0.001 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:22,  2.90s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:19,  2.91s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:16,  2.90s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:11<02:13,  2.90s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:14<02:09,  2.88s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:17<02:06,  2.88s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:20<02:04,  2.89s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:23<02:01,  2.89s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:26<01:59,  2.90s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:28<01:56,  2.91s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:31<01:53,  2.91s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:34<01:50,  2.90s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:37<01:47,  2.90s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:40<01:44,  2.90s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:43<01:41,  2.89s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:46<01:38,  2.89s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:49<01:35,  2.89s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:52<01:32,  2.88s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:54<01:29,  2.88s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:57<01:26,  2.89s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:00<01:24,  2.91s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:03<01:21,  2.92s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:06<01:18,  2.90s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:09<01:15,  2.89s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:12<01:12,  2.89s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:15<01:10,  2.95s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:18<01:07,  2.94s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:21<01:04,  2.91s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:24<01:00,  2.89s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:26<00:57,  2.89s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:29<00:54,  2.89s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:32<00:51,  2.88s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:35<00:48,  2.88s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:38<00:45,  2.87s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:41<00:43,  2.88s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:44<00:40,  2.88s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:47<00:37,  2.89s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:50<00:34,  2.89s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:52<00:31,  2.90s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:55<00:28,  2.90s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:58<00:26,  2.91s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:01<00:23,  2.90s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:04<00:20,  2.89s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:07<00:17,  2.88s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:10<00:14,  2.88s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:13<00:11,  2.88s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:16<00:08,  2.88s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:18<00:05,  2.88s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:21<00:02,  2.89s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:24<00:00,  2.89s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 50 200 0.001 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:06<05:41,  6.97s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:13<05:32,  6.92s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:20<05:23,  6.89s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:27<05:15,  6.87s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:34<05:08,  6.85s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:40<05:00,  6.82s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:47<04:53,  6.82s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:54<04:46,  6.81s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:01<04:39,  6.82s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:08<04:32,  6.82s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [01:15<04:25,  6.82s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [01:21<04:18,  6.80s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:28<04:11,  6.81s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:35<04:04,  6.80s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:42<03:58,  6.82s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:49<03:53,  6.86s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:56<03:46,  6.86s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [02:02<03:39,  6.87s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [02:09<03:32,  6.86s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [02:16<03:24,  6.83s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [02:23<03:17,  6.82s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [02:30<03:10,  6.80s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [02:36<03:03,  6.80s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [02:43<02:56,  6.79s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:50<02:49,  6.79s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:57<02:42,  6.78s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [03:04<02:35,  6.78s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [03:10<02:29,  6.79s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [03:17<02:22,  6.77s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [03:24<02:15,  6.79s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [03:31<02:09,  6.79s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [03:37<02:02,  6.80s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [03:44<01:55,  6.78s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [03:51<01:48,  6.79s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [03:58<01:41,  6.79s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [04:05<01:35,  6.83s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [04:12<01:28,  6.84s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [04:18<01:21,  6.81s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [04:25<01:14,  6.81s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [04:32<01:08,  6.81s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [04:39<01:01,  6.80s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [04:46<00:54,  6.79s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [04:52<00:47,  6.79s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [04:59<00:40,  6.79s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [05:06<00:33,  6.78s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [05:13<00:27,  6.81s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [05:20<00:20,  6.81s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [05:26<00:13,  6.80s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [05:33<00:06,  6.80s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:40<00:00,  6.81s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 200 0.01 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:03<02:40,  3.27s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:06<02:36,  3.26s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:09<02:33,  3.26s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:12<02:29,  3.24s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:16<02:24,  3.22s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:19<02:20,  3.20s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:22<02:18,  3.23s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:25<02:15,  3.22s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:28<02:11,  3.22s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:32<02:08,  3.21s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:35<02:05,  3.21s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:38<02:02,  3.21s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:41<01:58,  3.21s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:45<01:55,  3.21s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:48<01:51,  3.20s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:51<01:48,  3.20s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:54<01:45,  3.20s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:57<01:42,  3.20s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:00<01:39,  3.20s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:04<01:35,  3.19s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:07<01:32,  3.18s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:10<01:29,  3.20s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:13<01:26,  3.21s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:17<01:23,  3.21s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:20<01:20,  3.21s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:23<01:17,  3.22s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:26<01:14,  3.23s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:29<01:10,  3.22s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:33<01:07,  3.21s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:36<01:03,  3.20s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:39<01:00,  3.21s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:42<00:57,  3.21s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:45<00:54,  3.20s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:49<00:51,  3.19s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:52<00:47,  3.19s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:55<00:44,  3.20s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:58<00:41,  3.20s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:01<00:38,  3.21s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:05<00:35,  3.20s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:08<00:31,  3.19s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:11<00:28,  3.20s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:14<00:25,  3.20s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:17<00:22,  3.20s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:21<00:19,  3.23s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:24<00:16,  3.22s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:27<00:12,  3.21s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:30<00:09,  3.22s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:34<00:06,  3.21s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:37<00:03,  3.20s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:40<00:00,  3.21s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 200 0.01 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:23,  2.93s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:20,  2.92s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:16,  2.91s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:11<02:13,  2.91s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:14<02:10,  2.90s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:17<02:07,  2.90s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:20<02:05,  2.92s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:23<02:02,  2.92s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:26<01:58,  2.90s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:29<01:55,  2.90s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:31<01:53,  2.90s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:34<01:49,  2.89s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:37<01:46,  2.89s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:40<01:43,  2.88s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:43<01:41,  2.89s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:46<01:38,  2.89s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:49<01:35,  2.89s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:52<01:32,  2.90s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:55<01:29,  2.89s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:57<01:26,  2.89s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:00<01:23,  2.90s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:03<01:21,  2.90s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:06<01:17,  2.88s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:09<01:14,  2.88s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:12<01:12,  2.89s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:15<01:08,  2.87s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:18<01:05,  2.87s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:20<01:03,  2.87s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:23<01:00,  2.87s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:26<00:57,  2.87s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:29<00:54,  2.86s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:32<00:51,  2.86s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:35<00:48,  2.87s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:38<00:45,  2.86s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:40<00:42,  2.87s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:43<00:40,  2.87s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:46<00:37,  2.86s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:49<00:34,  2.85s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:52<00:31,  2.86s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:55<00:28,  2.86s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:58<00:25,  2.87s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:01<00:22,  2.86s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:03<00:20,  2.86s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:06<00:17,  2.86s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:09<00:14,  2.86s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:12<00:11,  2.87s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:15<00:08,  2.87s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:18<00:05,  2.86s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:21<00:02,  2.86s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:23<00:00,  2.88s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 50 200 0.01 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:06<05:33,  6.81s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:13<05:25,  6.78s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:20<05:18,  6.77s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:26<05:10,  6.74s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:33<05:03,  6.73s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:40<04:56,  6.74s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:47<04:49,  6.73s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:53<04:42,  6.73s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:00<04:36,  6.73s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:07<04:29,  6.73s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [01:14<04:22,  6.73s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [01:20<04:16,  6.75s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:27<04:09,  6.74s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:34<04:02,  6.75s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:41<03:56,  6.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:47<03:49,  6.74s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:54<03:42,  6.74s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [02:01<03:35,  6.73s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [02:07<03:28,  6.71s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [02:14<03:21,  6.71s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [02:21<03:14,  6.70s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [02:27<03:07,  6.69s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [02:34<03:00,  6.69s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [02:41<02:54,  6.70s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:48<02:47,  6.69s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:54<02:40,  6.70s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [03:01<02:34,  6.70s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [03:08<02:28,  6.74s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [03:15<02:21,  6.75s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [03:21<02:15,  6.76s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [03:28<02:08,  6.75s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [03:35<02:01,  6.74s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [03:42<01:54,  6.74s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [03:48<01:48,  6.75s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [03:55<01:40,  6.73s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [04:02<01:34,  6.73s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [04:08<01:27,  6.72s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [04:15<01:20,  6.71s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [04:22<01:14,  6.73s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [04:29<01:07,  6.71s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [04:35<01:00,  6.72s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [04:42<00:53,  6.70s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [04:49<00:46,  6.70s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [04:55<00:40,  6.71s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [05:02<00:33,  6.70s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [05:09<00:26,  6.70s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [05:16<00:20,  6.94s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [05:23<00:13,  6.89s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [05:30<00:06,  6.83s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:36<00:00,  6.74s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 200 0.005 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:03<02:37,  3.21s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:06<02:33,  3.20s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:09<02:30,  3.20s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:12<02:26,  3.19s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:15<02:23,  3.18s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:19<02:19,  3.17s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:22<02:16,  3.17s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:25<02:13,  3.17s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:28<02:10,  3.17s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:31<02:06,  3.17s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:34<02:03,  3.18s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:38<02:00,  3.17s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:41<01:57,  3.18s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:44<01:54,  3.18s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:47<01:51,  3.18s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:50<01:48,  3.18s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:53<01:44,  3.17s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:57<01:41,  3.18s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:00<01:38,  3.17s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:03<01:35,  3.17s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:06<01:31,  3.17s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:09<01:28,  3.17s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:13<01:25,  3.18s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:16<01:22,  3.17s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:19<01:19,  3.18s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:22<01:15,  3.17s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:25<01:12,  3.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:28<01:09,  3.16s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:32<01:06,  3.17s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:35<01:03,  3.17s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:38<01:00,  3.17s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:41<00:57,  3.19s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:44<00:54,  3.18s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:47<00:51,  3.19s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:51<00:47,  3.18s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:54<00:44,  3.17s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:57<00:41,  3.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:00<00:38,  3.17s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:03<00:34,  3.16s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:06<00:31,  3.17s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:10<00:28,  3.17s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:13<00:25,  3.16s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:16<00:22,  3.17s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:19<00:19,  3.18s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:22<00:15,  3.17s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:25<00:12,  3.17s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:29<00:09,  3.17s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:32<00:06,  3.17s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:35<00:03,  3.17s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:38<00:00,  3.17s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 200 0.005 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:20,  2.86s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:17,  2.86s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:15,  2.87s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:11<02:12,  2.88s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:14<02:08,  2.86s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:17<02:05,  2.86s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:20<02:03,  2.87s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:22<02:00,  2.87s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:25<01:57,  2.86s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:28<01:54,  2.87s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:31<01:52,  2.87s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:34<01:49,  2.87s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:37<01:45,  2.86s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:40<01:42,  2.86s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:43<01:40,  2.86s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:45<01:37,  2.86s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:48<01:34,  2.87s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:51<01:31,  2.86s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:54<01:28,  2.87s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:57<01:26,  2.87s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:00<01:23,  2.87s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:03<01:20,  2.87s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:05<01:17,  2.87s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:08<01:14,  2.87s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:11<01:11,  2.86s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:14<01:08,  2.86s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:17<01:05,  2.87s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:20<01:03,  2.87s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:23<01:00,  2.86s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:25<00:57,  2.86s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:28<00:54,  2.85s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:31<00:51,  2.86s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:34<00:48,  2.86s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:37<00:45,  2.86s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:40<00:43,  2.87s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:43<00:40,  2.89s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:46<00:37,  2.89s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:49<00:34,  2.88s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:51<00:31,  2.87s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:54<00:28,  2.87s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:57<00:25,  2.86s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:00<00:23,  2.88s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:03<00:20,  2.88s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:06<00:17,  2.87s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:09<00:14,  2.86s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:11<00:11,  2.87s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:14<00:08,  2.86s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:17<00:05,  2.87s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:20<00:02,  2.87s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:23<00:00,  2.87s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 50 200 0.005 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:43,  4.56s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:38,  4.56s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:13<03:33,  4.55s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:18<03:29,  4.55s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:22<03:24,  4.55s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:27<03:19,  4.54s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:31<03:15,  4.54s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:36<03:10,  4.54s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:40<03:07,  4.56s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:45<03:02,  4.55s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:49<02:57,  4.54s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:54<02:52,  4.54s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:59<02:47,  4.52s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:03<02:42,  4.52s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:08<02:38,  4.54s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:12<02:34,  4.53s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:17<02:29,  4.53s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:21<02:24,  4.53s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:26<02:20,  4.53s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:30<02:16,  4.54s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:35<02:11,  4.53s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:39<02:07,  4.54s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:44<02:02,  4.54s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:48<01:57,  4.53s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:53<01:53,  4.53s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:57<01:48,  4.53s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:02<01:44,  4.53s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:06<01:39,  4.52s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:11<01:35,  4.53s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:16<01:30,  4.53s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:20<01:26,  4.54s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:25<01:21,  4.54s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:29<01:17,  4.54s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:34<01:12,  4.54s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:38<01:08,  4.56s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:43<01:03,  4.55s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:47<00:58,  4.54s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:52<00:54,  4.53s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:56<00:49,  4.53s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:01<00:45,  4.57s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:06<00:41,  4.59s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:10<00:36,  4.60s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:15<00:32,  4.57s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:19<00:27,  4.56s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:24<00:22,  4.55s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:28<00:18,  4.54s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:33<00:13,  4.54s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:37<00:09,  4.53s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:42<00:04,  4.53s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:47<00:00,  4.54s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 400 0.001 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:17,  2.80s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:12,  2.77s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:08,  2.74s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<02:05,  2.73s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:13<02:02,  2.72s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:16<01:59,  2.71s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:18<01:56,  2.70s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:21<01:53,  2.70s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:24<01:50,  2.69s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:27<01:47,  2.69s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:29<01:44,  2.69s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:32<01:42,  2.69s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:35<01:39,  2.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:37<01:37,  2.70s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:40<01:34,  2.69s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:43<01:31,  2.69s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:45<01:28,  2.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:48<01:25,  2.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:51<01:23,  2.69s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:53<01:20,  2.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:56<01:18,  2.70s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:59<01:15,  2.69s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:01<01:12,  2.70s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:04<01:10,  2.70s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:07<01:07,  2.70s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:10<01:04,  2.69s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:12<01:02,  2.70s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:15<00:59,  2.69s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:18<00:56,  2.69s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:20<00:53,  2.68s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:23<00:51,  2.69s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:26<00:48,  2.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:28<00:45,  2.69s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:31<00:43,  2.69s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:34<00:40,  2.70s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:36<00:37,  2.69s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:39<00:34,  2.69s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:42<00:32,  2.68s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:45<00:29,  2.69s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:47<00:27,  2.73s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:50<00:24,  2.71s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:53<00:21,  2.71s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:55<00:18,  2.70s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:58<00:16,  2.71s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:01<00:13,  2.70s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:04<00:10,  2.70s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:06<00:08,  2.70s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:09<00:05,  2.70s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:12<00:02,  2.69s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00,  2.70s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 400 0.001 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:06,  2.57s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:02,  2.55s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:07<01:59,  2.54s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<01:56,  2.54s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:12<01:54,  2.53s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:15<01:51,  2.53s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:17<01:48,  2.53s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:20<01:46,  2.53s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:22<01:43,  2.52s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:25<01:41,  2.53s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:27<01:38,  2.52s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:30<01:35,  2.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:32<01:33,  2.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:35<01:31,  2.53s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:37<01:28,  2.54s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:40<01:26,  2.54s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:42<01:23,  2.53s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:45<01:20,  2.53s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:48<01:18,  2.53s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:50<01:16,  2.54s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:53<01:13,  2.53s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:55<01:10,  2.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [00:58<01:08,  2.53s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:00<01:05,  2.52s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:03<01:02,  2.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:05<01:00,  2.51s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:08<00:57,  2.51s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:10<00:55,  2.52s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:13<00:52,  2.52s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:15<00:50,  2.52s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:18<00:47,  2.52s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:20<00:45,  2.52s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:23<00:42,  2.52s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:25<00:40,  2.51s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:28<00:37,  2.52s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:31<00:35,  2.57s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:33<00:33,  2.56s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:36<00:30,  2.55s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:38<00:27,  2.54s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:41<00:25,  2.54s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:43<00:22,  2.54s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:46<00:20,  2.53s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:48<00:17,  2.53s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:51<00:15,  2.53s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [01:53<00:12,  2.53s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [01:56<00:10,  2.52s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [01:58<00:07,  2.52s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:01<00:05,  2.52s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:03<00:02,  2.52s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00,  2.53s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 50 400 0.001 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:43,  4.56s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:38,  4.55s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:13<03:32,  4.53s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:18<03:27,  4.52s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:22<03:23,  4.51s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:27<03:18,  4.51s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:31<03:14,  4.52s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:36<03:09,  4.52s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:40<03:04,  4.51s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:45<03:00,  4.51s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:49<02:55,  4.51s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:54<02:51,  4.52s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:58<02:46,  4.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:03<02:42,  4.51s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:07<02:38,  4.52s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:12<02:33,  4.52s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:16<02:29,  4.54s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:21<02:24,  4.53s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:25<02:20,  4.53s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:30<02:15,  4.52s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:34<02:10,  4.52s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:39<02:06,  4.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:43<02:01,  4.51s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:48<01:57,  4.51s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:52<01:52,  4.50s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:57<01:48,  4.50s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:01<01:43,  4.50s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:06<01:39,  4.50s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:10<01:34,  4.50s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:15<01:30,  4.51s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:19<01:25,  4.51s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:24<01:21,  4.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:28<01:17,  4.53s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:33<01:12,  4.53s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:38<01:08,  4.54s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:42<01:03,  4.52s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:47<00:58,  4.52s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:51<00:54,  4.51s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:56<00:49,  4.51s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:00<00:44,  4.50s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:05<00:40,  4.50s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:09<00:36,  4.50s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:14<00:31,  4.49s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:18<00:26,  4.50s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:23<00:22,  4.49s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:27<00:17,  4.50s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:32<00:13,  4.50s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:36<00:08,  4.50s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:41<00:04,  4.50s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:45<00:00,  4.51s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 400 0.01 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:12,  2.71s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:09,  2.70s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:06,  2.69s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<02:03,  2.69s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:13<02:00,  2.68s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:16<01:58,  2.68s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:18<01:55,  2.68s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:21<01:53,  2.69s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:24<01:50,  2.69s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:26<01:47,  2.68s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:29<01:44,  2.69s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:32<01:42,  2.69s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:34<01:39,  2.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:37<01:36,  2.68s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:40<01:33,  2.68s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:42<01:31,  2.68s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:45<01:28,  2.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:48<01:25,  2.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:51<01:23,  2.70s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:53<01:20,  2.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:56<01:17,  2.69s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:59<01:15,  2.68s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:01<01:12,  2.69s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:04<01:10,  2.69s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:07<01:07,  2.69s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:09<01:04,  2.68s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:12<01:01,  2.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:15<00:59,  2.68s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:17<00:56,  2.69s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:20<00:53,  2.69s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:23<00:51,  2.70s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:25<00:48,  2.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:28<00:45,  2.69s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:31<00:42,  2.69s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:34<00:40,  2.68s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:36<00:37,  2.68s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:39<00:34,  2.68s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:42<00:32,  2.68s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:44<00:29,  2.68s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:47<00:26,  2.69s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:50<00:24,  2.69s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:52<00:21,  2.70s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:55<00:19,  2.71s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:58<00:16,  2.71s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:00<00:13,  2.70s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:03<00:10,  2.70s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:06<00:08,  2.69s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:09<00:05,  2.68s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:11<00:02,  2.69s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00,  2.69s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 400 0.01 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:05,  2.57s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:02,  2.56s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:07<01:59,  2.55s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<01:56,  2.54s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:12<01:54,  2.54s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:15<01:51,  2.53s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:17<01:48,  2.53s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:20<01:46,  2.53s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:22<01:43,  2.52s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:25<01:40,  2.51s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:27<01:38,  2.52s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:30<01:35,  2.53s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:32<01:33,  2.53s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:35<01:30,  2.52s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:37<01:28,  2.53s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:40<01:25,  2.52s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:42<01:23,  2.53s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:45<01:20,  2.53s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:47<01:18,  2.53s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:50<01:15,  2.53s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:53<01:13,  2.52s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:55<01:10,  2.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [00:58<01:08,  2.52s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:00<01:05,  2.53s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:03<01:03,  2.53s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:05<01:00,  2.53s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:08<00:58,  2.54s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:10<00:55,  2.54s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:13<00:53,  2.53s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:15<00:50,  2.53s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:18<00:47,  2.52s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:20<00:45,  2.52s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:23<00:42,  2.51s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:25<00:40,  2.51s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:28<00:37,  2.52s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:30<00:35,  2.53s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:33<00:32,  2.53s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:36<00:30,  2.54s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:38<00:27,  2.54s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:41<00:25,  2.54s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:43<00:22,  2.52s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:46<00:20,  2.52s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:48<00:17,  2.52s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:51<00:15,  2.52s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [01:53<00:12,  2.52s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [01:56<00:10,  2.52s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [01:58<00:07,  2.52s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:01<00:05,  2.52s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:03<00:02,  2.52s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00,  2.53s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
SGD 50 400 0.01 DONE
NEW LOOP







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:43,  4.56s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:37,  4.54s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:13<03:33,  4.54s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:18<03:27,  4.52s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:22<03:23,  4.53s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:27<03:19,  4.52s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:31<03:14,  4.52s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:36<03:09,  4.52s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:40<03:04,  4.51s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:45<03:00,  4.52s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:49<02:55,  4.51s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:54<02:51,  4.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:58<02:46,  4.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:03<02:42,  4.52s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:07<02:38,  4.53s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:12<02:33,  4.52s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:16<02:29,  4.52s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:21<02:24,  4.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:25<02:19,  4.50s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:30<02:15,  4.51s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:34<02:10,  4.51s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:39<02:06,  4.50s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:43<02:01,  4.51s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:48<01:57,  4.51s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:52<01:52,  4.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:57<01:48,  4.51s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:01<01:44,  4.53s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:06<01:39,  4.53s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:10<01:34,  4.52s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:15<01:30,  4.52s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:19<01:25,  4.51s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:24<01:21,  4.54s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:29<01:16,  4.52s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:33<01:12,  4.51s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:38<01:07,  4.51s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:42<01:02,  4.49s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:47<00:58,  4.50s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:51<00:53,  4.49s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:55<00:49,  4.49s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:00<00:44,  4.49s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:05<00:40,  4.50s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:09<00:36,  4.52s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:14<00:31,  4.51s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:18<00:27,  4.51s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:23<00:22,  4.51s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:27<00:18,  4.51s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:32<00:13,  4.52s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:36<00:09,  4.51s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:41<00:04,  4.51s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:45<00:00,  4.51s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
NADAM 50 400 0.005 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:12,  2.70s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:09,  2.69s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:06,  2.69s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<02:04,  2.70s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:13<02:01,  2.70s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:16<01:58,  2.70s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:18<01:56,  2.70s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:21<01:53,  2.69s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:24<01:49,  2.68s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:26<01:47,  2.68s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:29<01:44,  2.68s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:32<01:41,  2.68s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:34<01:39,  2.68s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:37<01:37,  2.70s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:40<01:34,  2.71s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:43<01:31,  2.70s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:45<01:28,  2.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:48<01:26,  2.69s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:51<01:23,  2.69s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:53<01:20,  2.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:56<01:17,  2.69s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:59<01:15,  2.69s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:01<01:12,  2.69s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:04<01:09,  2.69s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:07<01:07,  2.68s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:09<01:04,  2.69s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:12<01:01,  2.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:15<00:59,  2.70s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:18<00:56,  2.69s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:20<00:53,  2.70s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:23<00:51,  2.69s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:26<00:48,  2.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:28<00:45,  2.69s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:31<00:42,  2.69s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:34<00:40,  2.68s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:36<00:37,  2.69s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:39<00:34,  2.69s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:42<00:32,  2.69s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:44<00:29,  2.68s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:47<00:26,  2.69s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:50<00:24,  2.69s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:52<00:21,  2.69s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:55<00:18,  2.68s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:58<00:16,  2.69s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:01<00:13,  2.68s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:03<00:10,  2.68s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:06<00:08,  2.67s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:09<00:05,  2.69s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:11<00:02,  2.70s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00,  2.69s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]
ADAM 50 400 0.005 DONE







  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:04,  2.54s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:01,  2.53s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:07<01:59,  2.54s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<01:56,  2.53s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:12<01:53,  2.52s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:15<01:50,  2.52s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:17<01:48,  2.53s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:20<01:47,  2.56s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:22<01:45,  2.56s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:25<01:41,  2.55s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:27<01:39,  2.55s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:30<01:36,  2.55s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:33<01:33,  2.54s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:35<01:31,  2.53s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:38<01:28,  2.53s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:40<01:25,  2.53s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:43<01:23,  2.53s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:45<01:20,  2.52s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:48<01:18,  2.52s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:50<01:15,  2.52s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:53<01:13,  2.52s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:55<01:10,  2.53s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [00:58<01:08,  2.53s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:00<01:05,  2.53s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:03<01:03,  2.53s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:05<01:00,  2.52s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:08<00:57,  2.52s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:10<00:55,  2.52s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:13<00:52,  2.52s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:15<00:50,  2.52s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:18<00:47,  2.52s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:20<00:45,  2.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:23<00:42,  2.53s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:25<00:40,  2.52s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:28<00:37,  2.52s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:30<00:35,  2.52s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:33<00:32,  2.52s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:36<00:30,  2.52s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:38<00:27,  2.52s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:41<00:25,  2.51s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:43<00:22,  2.51s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:46<00:20,  2.51s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:48<00:17,  2.51s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:51<00:15,  2.52s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [01:53<00:12,  2.52s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [01:56<00:10,  2.52s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [01:58<00:07,  2.52s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:01<00:05,  2.52s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:03<00:02,  2.51s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00,  2.52s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 50 400 0.005 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:11<19:34, 11.86s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:23<19:23, 11.87s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:35<19:11, 11.87s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:47<18:58, 11.86s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:59<18:45, 11.84s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [01:11<18:32, 11.83s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [01:22<18:21, 11.85s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [01:34<18:08, 11.83s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:46<17:55, 11.82s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:58<17:42, 11.81s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [02:10<17:28, 11.78s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [02:21<17:19, 11.81s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [02:33<17:07, 11.81s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [02:45<16:57, 11.83s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [02:57<16:43, 11.81s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [03:09<16:32, 11.81s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [03:20<16:18, 11.79s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [03:32<16:06, 11.78s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [03:44<15:54, 11.78s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [03:56<15:43, 11.80s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [04:08<15:32, 11.81s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [04:19<15:19, 11.79s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [04:31<15:07, 11.79s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [04:43<14:54, 11.77s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [04:55<14:41, 11.76s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [05:06<14:32, 11.79s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [05:18<14:19, 11.77s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [05:30<14:06, 11.76s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [05:42<13:54, 11.75s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [05:53<13:42, 11.75s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [06:05<13:30, 11.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [06:17<13:19, 11.76s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [06:29<13:08, 11.77s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [06:41<12:57, 11.77s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [06:52<12:44, 11.76s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [07:04<12:33, 11.77s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [07:16<12:21, 11.77s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [07:28<12:10, 11.78s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [07:39<11:58, 11.78s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [07:51<11:46, 11.77s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [08:03<11:34, 11.78s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [08:15<11:22, 11.76s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [08:26<11:11, 11.78s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [08:38<11:01, 11.81s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [08:50<10:50, 11.83s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [09:02<10:39, 11.84s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [09:14<10:25, 11.81s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [09:26<10:13, 11.81s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [09:37<10:01, 11.79s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [09:49<09:50, 11.81s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [10:01<09:38, 11.80s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [10:13<09:25, 11.78s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [10:25<09:13, 11.78s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [10:36<09:00, 11.74s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [10:48<08:48, 11.75s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [11:00<08:38, 11.77s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [11:12<08:26, 11.77s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [11:23<08:13, 11.76s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [11:35<08:02, 11.76s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [11:47<07:49, 11.75s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [11:58<07:37, 11.73s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [12:10<07:26, 11.74s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [12:22<07:15, 11.78s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [12:34<07:03, 11.77s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [12:46<06:51, 11.76s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [12:57<06:39, 11.75s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [13:09<06:27, 11.76s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [13:21<06:18, 11.81s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [13:33<06:05, 11.80s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [13:45<05:53, 11.80s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [13:56<05:42, 11.80s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [14:08<05:30, 11.80s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [14:20<05:18, 11.81s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [14:32<05:06, 11.78s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [14:43<04:54, 11.77s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [14:55<04:42, 11.78s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [15:07<04:31, 11.83s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [15:19<04:19, 11.80s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [15:31<04:07, 11.79s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [15:42<03:55, 11.78s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [15:54<03:43, 11.77s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [16:06<03:31, 11.75s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [16:18<03:19, 11.76s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [16:30<03:08, 11.79s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [16:41<02:56, 11.77s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [16:53<02:44, 11.76s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [17:05<02:33, 11.78s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [17:17<02:21, 11.77s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [17:28<02:09, 11.77s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [17:40<01:57, 11.76s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [17:52<01:45, 11.76s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [18:04<01:33, 11.74s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [18:15<01:22, 11.74s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [18:27<01:10, 11.76s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [18:39<00:58, 11.77s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [18:51<00:47, 11.78s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [19:02<00:35, 11.78s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [19:14<00:23, 11.77s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [19:26<00:11, 11.78s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:38<00:00, 11.78s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 100 0.001 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:43,  4.69s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:42,  4.71s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:14<07:37,  4.72s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:31,  4.71s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:23<07:27,  4.71s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:28<07:23,  4.72s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:33<07:18,  4.71s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:37<07:14,  4.72s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:42<07:10,  4.73s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:47<07:03,  4.71s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:51<07:01,  4.73s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:56<06:57,  4.74s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:01<06:51,  4.73s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:06<06:46,  4.73s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:10<06:42,  4.74s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:15<06:37,  4.73s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:20<06:32,  4.73s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:25<06:27,  4.73s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:29<06:23,  4.74s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:34<06:20,  4.76s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:39<06:15,  4.75s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:44<06:10,  4.75s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:48<06:03,  4.72s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:53<05:57,  4.71s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:58<05:54,  4.72s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:02<05:48,  4.71s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:07<05:43,  4.70s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:12<05:38,  4.70s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:17<05:34,  4.70s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:21<05:28,  4.69s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:26<05:24,  4.71s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:31<05:20,  4.71s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:35<05:15,  4.71s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:40<05:10,  4.71s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:45<05:05,  4.70s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:50<05:02,  4.72s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:54<04:58,  4.73s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:59<04:51,  4.70s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [03:04<04:47,  4.72s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:08<04:42,  4.71s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:13<04:39,  4.73s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:18<04:34,  4.73s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:23<04:28,  4.71s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:27<04:22,  4.70s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:32<04:18,  4.71s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:37<04:14,  4.72s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:41<04:10,  4.73s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:46<04:04,  4.71s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:51<04:00,  4.71s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:55<03:55,  4.71s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [04:00<03:50,  4.70s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [04:05<03:45,  4.70s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [04:10<03:41,  4.72s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:14<03:37,  4.72s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:19<03:32,  4.72s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:24<03:27,  4.72s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:29<03:22,  4.72s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:33<03:17,  4.71s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:38<03:13,  4.72s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:43<03:08,  4.70s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:47<03:03,  4.71s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:52<02:58,  4.70s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:57<02:53,  4.69s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [05:01<02:49,  4.71s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [05:06<02:45,  4.72s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [05:11<02:40,  4.73s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:16<02:35,  4.72s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:20<02:31,  4.73s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:25<02:26,  4.74s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:30<02:21,  4.72s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:35<02:17,  4.73s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:39<02:12,  4.72s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:44<02:07,  4.72s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:49<02:02,  4.72s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:53<01:58,  4.72s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:58<01:53,  4.72s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [06:03<01:48,  4.73s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [06:08<01:43,  4.72s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [06:12<01:39,  4.72s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [06:17<01:34,  4.73s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:22<01:29,  4.73s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:26<01:24,  4.71s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:31<01:19,  4.70s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:36<01:15,  4.71s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:41<01:10,  4.73s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:45<01:06,  4.73s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:50<01:01,  4.71s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:55<00:56,  4.71s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:59<00:51,  4.71s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [07:04<00:47,  4.73s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [07:09<00:42,  4.72s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [07:14<00:37,  4.73s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [07:18<00:33,  4.72s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:23<00:28,  4.73s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:28<00:23,  4.72s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:33<00:18,  4.72s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:37<00:14,  4.72s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:42<00:09,  4.70s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:47<00:04,  4.70s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:51<00:00,  4.72s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 100 0.001 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:00,  4.25s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:08<06:51,  4.20s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:12<06:44,  4.17s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:16<06:39,  4.16s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:20<06:33,  4.14s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:24<06:30,  4.15s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:28<06:24,  4.13s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:33<06:19,  4.12s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:37<06:15,  4.13s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:41<06:10,  4.12s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:45<06:05,  4.11s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:49<06:04,  4.15s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:53<06:01,  4.16s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:57<05:55,  4.13s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:01<05:51,  4.14s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:06<05:47,  4.14s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:10<05:41,  4.12s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:14<05:36,  4.10s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:18<05:30,  4.08s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:22<05:28,  4.10s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:26<05:24,  4.11s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:30<05:20,  4.11s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:34<05:16,  4.11s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:38<05:11,  4.10s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:42<05:06,  4.09s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:46<05:00,  4.07s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:51<04:57,  4.07s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:55<04:53,  4.07s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:59<04:49,  4.07s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:03<04:45,  4.08s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:07<04:42,  4.09s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:11<04:37,  4.08s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:15<04:33,  4.08s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:19<04:29,  4.09s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:23<04:26,  4.10s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:27<04:23,  4.12s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:32<04:18,  4.11s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:36<04:14,  4.11s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:40<04:11,  4.13s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:44<04:08,  4.14s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:48<04:04,  4.14s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:52<03:59,  4.12s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:56<03:54,  4.12s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:00<03:51,  4.13s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:04<03:45,  4.10s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:09<03:41,  4.09s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:13<03:38,  4.12s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:17<03:33,  4.11s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:21<03:28,  4.09s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:25<03:26,  4.12s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:29<03:22,  4.14s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:33<03:17,  4.12s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:37<03:12,  4.10s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [03:41<03:08,  4.09s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [03:46<03:04,  4.09s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [03:50<02:59,  4.09s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:54<02:55,  4.08s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:58<02:51,  4.08s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:02<02:47,  4.08s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:06<02:42,  4.07s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:10<02:38,  4.06s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:14<02:35,  4.09s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:18<02:31,  4.10s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:22<02:27,  4.09s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:26<02:23,  4.10s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:31<02:19,  4.10s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [04:35<02:14,  4.08s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [04:39<02:10,  4.09s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [04:43<02:06,  4.08s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [04:47<02:02,  4.09s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [04:51<01:58,  4.08s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [04:55<01:54,  4.10s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [04:59<01:50,  4.09s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:03<01:46,  4.09s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:07<01:42,  4.08s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:11<01:37,  4.06s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:15<01:33,  4.08s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:19<01:29,  4.07s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:24<01:25,  4.07s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:28<01:21,  4.09s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [05:32<01:17,  4.07s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [05:36<01:13,  4.08s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [05:40<01:09,  4.07s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [05:44<01:05,  4.08s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [05:48<01:01,  4.09s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [05:52<00:57,  4.08s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [05:56<00:53,  4.08s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:00<00:48,  4.08s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:04<00:44,  4.09s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:09<00:41,  4.11s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:13<00:36,  4.09s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:17<00:32,  4.09s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:21<00:28,  4.09s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [06:25<00:24,  4.07s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [06:29<00:20,  4.09s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [06:33<00:16,  4.10s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [06:37<00:12,  4.08s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [06:41<00:08,  4.07s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [06:45<00:04,  4.07s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:49<00:00,  4.10s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 100 100 0.001 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:11<19:28, 11.80s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:23<19:14, 11.78s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:35<18:58, 11.74s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:47<18:50, 11.78s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:58<18:37, 11.76s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [01:10<18:23, 11.74s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [01:22<18:12, 11.75s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [01:34<18:02, 11.76s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:45<17:47, 11.73s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:57<17:37, 11.75s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [02:09<17:23, 11.72s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [02:20<17:09, 11.70s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [02:32<16:56, 11.69s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [02:44<16:43, 11.67s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [02:55<16:31, 11.66s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [03:07<16:19, 11.66s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [03:19<16:10, 11.69s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [03:30<15:59, 11.70s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [03:42<15:47, 11.70s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [03:54<15:35, 11.69s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [04:05<15:24, 11.71s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [04:17<15:12, 11.70s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [04:29<15:08, 11.80s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [04:41<14:53, 11.75s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [04:52<14:38, 11.72s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [05:04<14:25, 11.69s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [05:16<14:12, 11.67s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [05:27<14:01, 11.68s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [05:39<13:50, 11.69s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [05:51<13:37, 11.68s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [06:02<13:25, 11.68s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [06:14<13:13, 11.67s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [06:26<13:00, 11.65s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [06:37<12:48, 11.65s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [06:49<12:36, 11.64s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [07:01<12:29, 11.71s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [07:12<12:16, 11.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [07:24<12:05, 11.70s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [07:36<11:52, 11.69s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [07:47<11:39, 11.66s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [07:59<11:30, 11.71s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [08:11<11:18, 11.70s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [08:23<11:05, 11.68s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [08:34<10:53, 11.67s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [08:46<10:42, 11.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [08:58<10:30, 11.67s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [09:10<10:22, 11.75s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [09:21<10:08, 11.71s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [09:33<09:55, 11.69s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [09:44<09:42, 11.66s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [09:56<09:31, 11.67s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [10:08<09:20, 11.68s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [10:19<09:08, 11.67s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [10:31<08:57, 11.67s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [10:43<08:46, 11.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [10:54<08:33, 11.68s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [11:06<08:21, 11.66s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [11:18<08:09, 11.65s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [11:29<07:58, 11.68s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [11:41<07:46, 11.67s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [11:53<07:34, 11.66s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [12:05<07:24, 11.71s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [12:16<07:12, 11.70s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [12:28<07:01, 11.70s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [12:40<06:49, 11.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [12:51<06:37, 11.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [13:03<06:25, 11.67s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [13:15<06:13, 11.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [13:26<06:02, 11.70s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [13:38<05:51, 11.71s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [13:50<05:39, 11.69s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [14:01<05:27, 11.70s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [14:13<05:15, 11.69s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [14:25<05:03, 11.66s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [14:36<04:51, 11.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [14:48<04:40, 11.67s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [15:00<04:28, 11.69s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [15:12<04:17, 11.69s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [15:23<04:05, 11.69s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [15:35<03:53, 11.69s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [15:47<03:42, 11.72s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [15:58<03:31, 11.73s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [16:10<03:19, 11.72s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [16:22<03:07, 11.70s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [16:33<02:55, 11.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [16:45<02:43, 11.69s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [16:57<02:31, 11.68s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [17:08<02:20, 11.68s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [17:20<02:08, 11.68s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [17:32<01:56, 11.68s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [17:43<01:44, 11.64s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [17:55<01:32, 11.62s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [18:07<01:21, 11.63s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [18:18<01:09, 11.62s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [18:30<00:58, 11.65s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [18:42<00:46, 11.64s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [18:53<00:34, 11.65s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [19:05<00:23, 11.65s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [19:16<00:11, 11.64s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:28<00:00, 11.69s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 100 0.01 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:52,  4.78s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:46,  4.77s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:14<07:39,  4.74s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:33,  4.72s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:23<07:29,  4.73s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:28<07:24,  4.73s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:33<07:19,  4.72s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:37<07:15,  4.73s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:42<07:10,  4.73s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:47<07:04,  4.72s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:51<07:00,  4.73s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:56<06:56,  4.74s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:01<06:50,  4.72s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:06<06:45,  4.71s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:10<06:43,  4.74s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:15<06:37,  4.73s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:20<06:32,  4.73s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:24<06:25,  4.71s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:29<06:21,  4.71s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:34<06:16,  4.71s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:39<06:11,  4.71s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:43<06:07,  4.71s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:48<06:03,  4.72s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:53<06:00,  4.74s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:57<05:52,  4.70s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:02<05:47,  4.70s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:07<05:42,  4.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:12<05:38,  4.70s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:16<05:35,  4.72s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:21<05:29,  4.71s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:26<05:25,  4.71s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:30<05:20,  4.71s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:35<05:16,  4.72s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:40<05:10,  4.71s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:45<05:05,  4.70s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:49<05:01,  4.72s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:54<04:56,  4.71s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:59<04:52,  4.73s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [03:03<04:46,  4.70s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:08<04:42,  4.71s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:13<04:37,  4.71s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:18<04:33,  4.72s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:22<04:28,  4.71s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:27<04:23,  4.70s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:32<04:18,  4.70s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:36<04:13,  4.70s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:41<04:09,  4.70s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:46<04:04,  4.70s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:51<04:00,  4.71s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:55<03:56,  4.72s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [04:00<03:50,  4.71s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [04:05<03:46,  4.71s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [04:09<03:41,  4.70s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:14<03:36,  4.70s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:19<03:30,  4.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:23<03:26,  4.69s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:28<03:22,  4.71s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:33<03:18,  4.72s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:38<03:14,  4.74s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:42<03:08,  4.71s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:47<03:03,  4.71s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:52<02:59,  4.71s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:56<02:54,  4.72s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [05:01<02:49,  4.70s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [05:06<02:43,  4.68s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [05:10<02:39,  4.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:15<02:34,  4.69s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:20<02:30,  4.69s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:24<02:25,  4.68s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:29<02:20,  4.68s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:34<02:16,  4.69s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:39<02:11,  4.69s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:43<02:06,  4.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:48<02:01,  4.68s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:53<01:56,  4.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:57<01:52,  4.68s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [06:02<01:48,  4.70s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [06:07<01:43,  4.70s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [06:11<01:38,  4.70s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [06:16<01:34,  4.70s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:21<01:29,  4.70s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:25<01:24,  4.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:30<01:19,  4.70s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:35<01:15,  4.70s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:40<01:10,  4.70s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:44<01:05,  4.68s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:49<01:01,  4.69s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:54<00:56,  4.69s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:58<00:51,  4.69s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [07:03<00:46,  4.69s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [07:08<00:42,  4.68s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [07:12<00:37,  4.70s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [07:17<00:32,  4.70s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:22<00:28,  4.69s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:27<00:23,  4.70s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:31<00:18,  4.71s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:36<00:14,  4.71s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:41<00:09,  4.71s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:45<00:04,  4.72s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:50<00:00,  4.71s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 100 0.01 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<06:43,  4.07s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:08<06:40,  4.09s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:12<06:35,  4.08s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:16<06:30,  4.07s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:20<06:28,  4.09s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:24<06:24,  4.09s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:28<06:21,  4.10s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:32<06:17,  4.10s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:36<06:13,  4.10s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:40<06:09,  4.11s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:45<06:05,  4.10s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:49<06:01,  4.11s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:53<05:56,  4.10s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:57<05:52,  4.10s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:01<05:49,  4.11s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:05<05:44,  4.10s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:09<05:40,  4.10s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:13<05:36,  4.10s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:17<05:29,  4.07s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:21<05:25,  4.07s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:25<05:22,  4.08s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:29<05:17,  4.07s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:34<05:14,  4.08s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:38<05:10,  4.09s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:42<05:06,  4.09s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:46<05:03,  4.10s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:50<04:58,  4.09s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:54<04:53,  4.08s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:58<04:51,  4.11s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:02<04:47,  4.11s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:06<04:43,  4.10s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:10<04:37,  4.08s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:15<04:33,  4.08s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:19<04:29,  4.09s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:23<04:24,  4.08s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:27<04:19,  4.06s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:31<04:16,  4.07s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:35<04:12,  4.08s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:39<04:09,  4.09s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:43<04:05,  4.09s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:47<04:00,  4.08s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:51<03:56,  4.07s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:55<03:51,  4.06s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:59<03:47,  4.07s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:03<03:44,  4.08s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:08<03:40,  4.08s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:12<03:35,  4.07s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:16<03:30,  4.05s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:20<03:27,  4.07s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:24<03:24,  4.08s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:28<03:20,  4.09s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:32<03:16,  4.09s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:36<03:13,  4.12s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [03:40<03:08,  4.09s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [03:44<03:03,  4.08s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [03:48<02:59,  4.09s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:52<02:55,  4.08s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:57<02:51,  4.09s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:01<02:48,  4.11s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:05<02:44,  4.11s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:09<02:40,  4.12s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:13<02:36,  4.13s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:17<02:33,  4.15s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:21<02:28,  4.12s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:25<02:23,  4.11s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:30<02:19,  4.11s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [04:34<02:15,  4.09s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [04:38<02:11,  4.10s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [04:42<02:07,  4.10s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [04:46<02:02,  4.09s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [04:50<01:58,  4.09s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [04:54<01:54,  4.09s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [04:58<01:50,  4.09s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:02<01:46,  4.09s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:06<01:42,  4.08s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:10<01:37,  4.07s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:14<01:33,  4.08s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:19<01:29,  4.08s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:23<01:25,  4.06s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:27<01:21,  4.07s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [05:31<01:17,  4.07s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [05:35<01:13,  4.06s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [05:39<01:08,  4.06s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [05:43<01:05,  4.07s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [05:47<01:00,  4.07s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [05:51<00:56,  4.06s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [05:55<00:52,  4.07s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [05:59<00:48,  4.05s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:03<00:44,  4.07s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:07<00:40,  4.08s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:11<00:36,  4.07s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:15<00:32,  4.08s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:20<00:28,  4.09s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [06:24<00:24,  4.09s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [06:28<00:20,  4.09s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [06:32<00:16,  4.10s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [06:36<00:12,  4.10s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [06:40<00:08,  4.12s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [06:44<00:04,  4.13s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:48<00:00,  4.09s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 100 100 0.01 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:11<19:37, 11.90s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:23<19:28, 11.92s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:35<19:09, 11.85s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:47<18:54, 11.82s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:59<18:39, 11.79s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [01:10<18:28, 11.79s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [01:22<18:14, 11.77s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [01:34<18:04, 11.79s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:46<17:49, 11.75s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:57<17:36, 11.74s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [02:09<17:23, 11.72s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [02:21<17:11, 11.72s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [02:32<16:58, 11.71s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [02:44<16:46, 11.70s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [02:56<16:33, 11.69s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [03:07<16:21, 11.68s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [03:19<16:09, 11.69s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [03:31<15:58, 11.69s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [03:42<15:46, 11.69s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [03:54<15:36, 11.71s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [04:06<15:26, 11.72s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [04:18<15:11, 11.68s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [04:29<14:58, 11.68s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [04:41<14:47, 11.67s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [04:53<14:36, 11.69s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [05:04<14:28, 11.74s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [05:16<14:17, 11.75s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [05:28<14:05, 11.74s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [05:40<13:51, 11.71s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [05:51<13:40, 11.72s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [06:03<13:27, 11.70s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [06:15<13:14, 11.68s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [06:26<13:00, 11.65s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [06:38<12:51, 11.70s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [06:50<12:39, 11.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [07:01<12:27, 11.68s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [07:13<12:15, 11.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [07:25<12:04, 11.68s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [07:36<11:51, 11.66s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [07:48<11:41, 11.69s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [08:00<11:29, 11.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [08:11<11:16, 11.67s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [08:23<11:04, 11.67s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [08:35<10:54, 11.69s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [08:46<10:41, 11.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [08:58<10:29, 11.65s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [09:10<10:19, 11.68s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [09:21<10:07, 11.68s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [09:33<09:55, 11.68s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [09:45<09:43, 11.68s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [09:57<09:34, 11.72s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [10:08<09:22, 11.72s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [10:20<09:11, 11.73s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [10:32<08:57, 11.69s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [10:43<08:45, 11.68s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [10:55<08:33, 11.67s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [11:07<08:22, 11.68s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [11:18<08:10, 11.68s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [11:30<07:59, 11.70s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [11:42<07:47, 11.70s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [11:54<07:36, 11.71s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [12:05<07:25, 11.72s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [12:17<07:13, 11.71s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [12:29<07:01, 11.71s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [12:40<06:49, 11.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [12:52<06:37, 11.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [13:04<06:25, 11.67s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [13:15<06:12, 11.66s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [13:27<06:01, 11.67s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [13:39<05:49, 11.66s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [13:50<05:39, 11.70s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [14:02<05:27, 11.70s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [14:14<05:15, 11.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [14:25<05:03, 11.66s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [14:37<04:51, 11.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [14:49<04:40, 11.67s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [15:00<04:28, 11.66s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [15:12<04:16, 11.66s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [15:24<04:04, 11.65s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [15:35<03:53, 11.66s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [15:47<03:41, 11.66s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [15:59<03:30, 11.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [16:10<03:18, 11.67s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [16:22<03:06, 11.67s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [16:34<02:55, 11.73s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [16:46<02:43, 11.71s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [16:57<02:31, 11.68s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [17:09<02:20, 11.67s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [17:20<02:08, 11.68s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [17:32<01:56, 11.68s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [17:44<01:44, 11.66s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [17:56<01:33, 11.69s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [18:07<01:21, 11.65s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [18:19<01:09, 11.66s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [18:30<00:58, 11.64s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [18:42<00:46, 11.67s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [18:54<00:34, 11.66s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [19:05<00:23, 11.67s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [19:17<00:11, 11.66s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:29<00:00, 11.69s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 100 0.005 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:51,  4.76s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:45,  4.75s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:14<07:39,  4.74s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:36,  4.75s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:23<07:31,  4.76s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:28<07:26,  4.75s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:33<07:22,  4.76s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:38<07:21,  4.80s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:42<07:13,  4.77s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:47<07:07,  4.75s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:52<07:01,  4.74s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:57<06:57,  4.75s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:01<06:52,  4.75s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:06<06:46,  4.73s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:11<06:41,  4.72s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:15<06:35,  4.71s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:20<06:31,  4.72s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:25<06:27,  4.72s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:30<06:21,  4.71s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:34<06:17,  4.71s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:39<06:11,  4.71s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:44<06:08,  4.72s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:48<06:04,  4.73s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:53<06:00,  4.74s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:58<05:54,  4.73s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:03<05:50,  4.73s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:07<05:44,  4.72s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:12<05:41,  4.75s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:17<05:38,  4.77s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:22<05:34,  4.78s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:27<05:29,  4.78s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:31<05:23,  4.76s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:36<05:17,  4.74s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:41<05:12,  4.73s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:45<05:06,  4.71s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:50<05:00,  4.70s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:55<04:55,  4.69s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:59<04:50,  4.69s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [03:04<04:45,  4.69s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:09<04:41,  4.69s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:13<04:37,  4.70s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:18<04:33,  4.72s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:23<04:29,  4.73s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:28<04:24,  4.73s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:32<04:20,  4.73s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:37<04:14,  4.71s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:42<04:10,  4.72s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:47<04:05,  4.72s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:51<04:00,  4.72s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:56<03:56,  4.73s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [04:01<03:52,  4.74s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [04:06<03:46,  4.73s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [04:10<03:42,  4.73s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:15<03:37,  4.73s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:20<03:32,  4.73s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:25<03:28,  4.75s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:29<03:24,  4.76s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:34<03:18,  4.73s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:39<03:14,  4.74s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:43<03:08,  4.70s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:48<03:03,  4.70s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:53<02:58,  4.71s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:57<02:54,  4.70s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [05:02<02:48,  4.69s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [05:07<02:44,  4.70s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [05:12<02:39,  4.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:16<02:34,  4.69s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:21<02:29,  4.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:26<02:24,  4.68s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:30<02:20,  4.69s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:35<02:15,  4.69s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:40<02:11,  4.69s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:44<02:06,  4.69s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:49<02:01,  4.69s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:54<01:57,  4.69s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:58<01:52,  4.70s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [06:03<01:48,  4.70s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [06:08<01:43,  4.69s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [06:13<01:38,  4.70s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [06:17<01:34,  4.70s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:22<01:29,  4.71s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:27<01:24,  4.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:31<01:19,  4.69s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:36<01:14,  4.68s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:41<01:10,  4.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:45<01:05,  4.69s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:50<01:01,  4.70s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:55<00:56,  4.74s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [07:00<00:52,  4.74s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [07:04<00:47,  4.77s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [07:09<00:42,  4.75s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [07:14<00:38,  4.75s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [07:19<00:33,  4.73s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:23<00:28,  4.75s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:28<00:23,  4.74s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:33<00:18,  4.74s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:38<00:14,  4.75s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:42<00:09,  4.73s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:47<00:04,  4.71s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:52<00:00,  4.72s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 100 0.005 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<06:54,  4.18s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:08<06:47,  4.16s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:12<06:41,  4.14s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:16<06:34,  4.11s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:20<06:30,  4.11s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:24<06:24,  4.09s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:28<06:21,  4.10s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:32<06:16,  4.09s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:36<06:11,  4.08s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:40<06:07,  4.08s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:44<06:02,  4.07s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:49<05:58,  4.07s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:53<05:53,  4.06s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:57<05:49,  4.07s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:01<05:47,  4.08s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:05<05:42,  4.08s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:09<05:38,  4.07s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:13<05:34,  4.08s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:17<05:31,  4.09s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:21<05:27,  4.09s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:25<05:21,  4.07s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:29<05:16,  4.06s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:33<05:13,  4.07s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:37<05:09,  4.07s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:41<05:03,  4.05s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:46<05:00,  4.06s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:50<04:56,  4.06s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:54<04:52,  4.07s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:58<04:48,  4.06s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:02<04:42,  4.04s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:06<04:39,  4.06s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:10<04:35,  4.05s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:14<04:32,  4.07s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:18<04:29,  4.08s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:22<04:26,  4.10s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:26<04:23,  4.12s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:30<04:19,  4.12s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:35<04:14,  4.11s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:39<04:09,  4.09s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:43<04:06,  4.10s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:47<04:02,  4.11s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:51<03:58,  4.11s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:55<03:55,  4.13s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:59<03:52,  4.15s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:03<03:47,  4.14s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:08<03:42,  4.12s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:12<03:38,  4.13s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:16<03:33,  4.11s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:20<03:29,  4.11s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:24<03:24,  4.08s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:28<03:20,  4.09s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:32<03:16,  4.09s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:36<03:11,  4.08s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [03:40<03:07,  4.08s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [03:44<03:03,  4.07s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [03:48<02:59,  4.08s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:52<02:54,  4.07s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:56<02:51,  4.08s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:01<02:47,  4.09s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:05<02:43,  4.08s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:09<02:39,  4.08s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:13<02:35,  4.09s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:17<02:30,  4.08s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:21<02:27,  4.08s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:25<02:23,  4.09s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:29<02:19,  4.09s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [04:33<02:15,  4.09s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [04:37<02:11,  4.09s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [04:41<02:06,  4.09s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [04:46<02:02,  4.09s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [04:50<01:59,  4.11s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [04:54<01:55,  4.13s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [04:58<01:51,  4.12s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:02<01:47,  4.13s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:06<01:42,  4.12s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:10<01:38,  4.12s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:14<01:34,  4.12s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:19<01:30,  4.11s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:23<01:27,  4.17s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:27<01:23,  4.15s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [05:31<01:18,  4.12s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [05:35<01:13,  4.10s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [05:39<01:09,  4.10s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [05:43<01:05,  4.10s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [05:47<01:01,  4.10s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [05:52<00:57,  4.11s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [05:56<00:53,  4.09s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:00<00:49,  4.09s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:04<00:44,  4.08s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:08<00:40,  4.07s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:12<00:36,  4.10s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:16<00:32,  4.11s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:20<00:28,  4.10s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [06:24<00:24,  4.07s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [06:28<00:20,  4.07s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [06:32<00:16,  4.05s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [06:36<00:12,  4.06s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [06:40<00:08,  4.06s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [06:45<00:04,  4.10s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:49<00:00,  4.09s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 100 100 0.005 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:06<11:11,  6.78s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:13<11:02,  6.76s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:20<10:55,  6.75s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:26<10:47,  6.75s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:33<10:40,  6.74s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:40<10:33,  6.74s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:47<10:27,  6.74s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:53<10:20,  6.74s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:00<10:17,  6.79s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:07<10:10,  6.78s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [01:14<10:03,  6.78s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [01:21<09:57,  6.79s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:27<09:50,  6.79s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:34<09:45,  6.81s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:41<09:43,  6.87s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:48<09:38,  6.89s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:55<09:32,  6.90s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [02:02<09:27,  6.92s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [02:09<09:31,  7.05s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [02:16<09:19,  7.00s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [02:24<09:24,  7.14s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [02:32<09:32,  7.34s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [02:39<09:17,  7.24s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [02:45<09:01,  7.12s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [02:52<08:45,  7.01s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:59<08:33,  6.93s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [03:06<08:22,  6.89s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [03:13<08:12,  6.84s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [03:19<08:04,  6.82s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [03:26<07:55,  6.80s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [03:33<07:48,  6.79s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [03:40<07:42,  6.80s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [03:46<07:34,  6.78s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [03:53<07:26,  6.77s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [04:00<07:20,  6.77s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [04:07<07:13,  6.77s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [04:13<07:06,  6.78s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [04:20<06:59,  6.76s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [04:27<06:52,  6.76s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [04:34<06:45,  6.76s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [04:40<06:38,  6.76s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [04:47<06:31,  6.75s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [04:54<06:24,  6.75s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [05:01<06:18,  6.75s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [05:07<06:11,  6.76s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [05:14<06:04,  6.75s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [05:21<05:58,  6.76s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [05:28<05:51,  6.76s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [05:34<05:44,  6.75s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [05:41<05:38,  6.77s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [05:48<05:31,  6.76s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [05:55<05:24,  6.75s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [06:02<05:17,  6.76s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [06:08<05:11,  6.76s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [06:15<05:04,  6.76s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [06:22<04:57,  6.76s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [06:29<04:50,  6.75s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [06:35<04:43,  6.76s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [06:42<04:36,  6.75s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [06:49<04:29,  6.74s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [06:56<04:22,  6.74s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [07:02<04:16,  6.75s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [07:09<04:09,  6.75s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [07:16<04:03,  6.75s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [07:23<03:56,  6.77s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [07:29<03:50,  6.77s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [07:36<03:43,  6.76s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [07:43<03:36,  6.78s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [07:50<03:29,  6.76s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [07:56<03:22,  6.75s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [08:03<03:15,  6.74s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [08:10<03:09,  6.75s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [08:17<03:02,  6.75s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [08:23<02:55,  6.75s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [08:30<02:48,  6.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [08:37<02:41,  6.75s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [08:44<02:35,  6.75s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [08:50<02:28,  6.74s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [08:57<02:21,  6.73s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [09:04<02:14,  6.74s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [09:11<02:08,  6.74s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [09:17<02:01,  6.74s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [09:24<01:54,  6.75s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [09:31<01:47,  6.74s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [09:38<01:41,  6.76s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [09:44<01:34,  6.77s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [09:51<01:27,  6.76s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [09:58<01:21,  6.75s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [10:05<01:14,  6.75s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [10:11<01:07,  6.75s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [10:18<01:00,  6.76s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [10:25<00:53,  6.74s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [10:32<00:47,  6.75s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [10:38<00:40,  6.75s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [10:45<00:33,  6.75s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [10:52<00:26,  6.74s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [10:59<00:20,  6.73s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [11:05<00:13,  6.74s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [11:12<00:06,  6.74s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:19<00:00,  6.79s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 200 0.001 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:03<05:15,  3.19s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:06<05:12,  3.19s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:09<05:08,  3.18s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:12<05:05,  3.18s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:15<05:02,  3.18s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:19<04:59,  3.19s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:22<04:55,  3.18s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:25<04:52,  3.18s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:28<04:49,  3.18s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:31<04:45,  3.17s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:34<04:41,  3.16s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:38<04:38,  3.16s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:41<04:35,  3.16s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:44<04:32,  3.16s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:47<04:29,  3.17s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:50<04:26,  3.17s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:53<04:23,  3.17s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:57<04:20,  3.18s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:00<04:18,  3.19s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:03<04:16,  3.20s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:06<04:12,  3.19s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:09<04:08,  3.19s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:13<04:05,  3.18s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:16<04:01,  3.18s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:19<03:57,  3.17s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:22<03:54,  3.17s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:25<03:51,  3.17s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:28<03:47,  3.16s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:32<03:44,  3.16s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:35<03:41,  3.17s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:38<03:38,  3.17s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:41<03:35,  3.17s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:44<03:32,  3.17s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:47<03:28,  3.17s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:51<03:25,  3.16s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:54<03:22,  3.16s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:57<03:19,  3.16s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:00<03:15,  3.16s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:03<03:12,  3.16s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:06<03:09,  3.16s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:10<03:06,  3.16s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:13<03:03,  3.16s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:16<03:00,  3.17s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:19<02:58,  3.18s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:22<02:54,  3.18s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:25<02:51,  3.17s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:29<02:48,  3.18s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:32<02:45,  3.18s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:35<02:41,  3.17s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:38<02:38,  3.16s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:41<02:35,  3.18s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:45<02:33,  3.19s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:48<02:29,  3.18s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:51<02:26,  3.17s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:54<02:22,  3.17s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:57<02:19,  3.17s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:00<02:16,  3.17s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:04<02:12,  3.17s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [03:07<02:09,  3.17s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [03:10<02:06,  3.16s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [03:13<02:03,  3.17s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [03:16<02:00,  3.17s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [03:19<01:57,  3.17s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:23<01:53,  3.17s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:26<01:51,  3.17s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:29<01:47,  3.16s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:32<01:44,  3.16s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:35<01:41,  3.16s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:38<01:38,  3.17s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:41<01:34,  3.16s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:45<01:31,  3.17s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:48<01:28,  3.17s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:51<01:25,  3.17s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:54<01:22,  3.16s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:57<01:19,  3.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [04:00<01:16,  3.17s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [04:04<01:12,  3.16s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [04:07<01:09,  3.16s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [04:10<01:06,  3.16s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [04:13<01:03,  3.16s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [04:16<01:00,  3.17s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [04:20<00:57,  3.18s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [04:23<00:54,  3.18s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [04:26<00:50,  3.17s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:29<00:47,  3.17s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:32<00:44,  3.17s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:35<00:41,  3.17s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:39<00:38,  3.20s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:42<00:35,  3.20s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:45<00:31,  3.19s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:48<00:28,  3.18s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:51<00:25,  3.16s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:54<00:22,  3.18s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:58<00:19,  3.18s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [05:01<00:15,  3.16s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [05:04<00:12,  3.17s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [05:07<00:09,  3.16s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [05:10<00:06,  3.16s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [05:13<00:03,  3.17s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:17<00:00,  3.17s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 200 0.001 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:45,  2.88s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:41,  2.87s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:37,  2.86s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:11<04:34,  2.86s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:14<04:31,  2.86s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:17<04:27,  2.85s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:19<04:24,  2.85s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:22<04:21,  2.85s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:25<04:18,  2.84s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:28<04:16,  2.85s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:31<04:12,  2.84s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:34<04:10,  2.84s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:37<04:07,  2.84s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:39<04:04,  2.84s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:42<04:01,  2.85s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:45<03:58,  2.85s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:48<03:55,  2.84s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:51<03:53,  2.84s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:54<03:51,  2.86s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:56<03:47,  2.85s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:59<03:44,  2.85s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:02<03:42,  2.85s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:05<03:39,  2.86s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:08<03:36,  2.85s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:11<03:33,  2.85s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:14<03:30,  2.84s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:16<03:27,  2.84s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:19<03:24,  2.84s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:22<03:22,  2.85s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:25<03:19,  2.85s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:28<03:16,  2.84s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:31<03:13,  2.85s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:33<03:11,  2.85s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:36<03:07,  2.84s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:39<03:04,  2.84s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:42<03:02,  2.84s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:45<02:59,  2.85s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:48<02:56,  2.85s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:51<02:53,  2.85s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:53<02:50,  2.84s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:56<02:47,  2.84s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:59<02:45,  2.85s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:02<02:42,  2.86s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:05<02:40,  2.86s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:08<02:37,  2.86s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:10<02:33,  2.85s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:13<02:30,  2.84s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:16<02:27,  2.84s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:19<02:24,  2.84s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:22<02:22,  2.84s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:25<02:19,  2.84s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:28<02:16,  2.85s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:30<02:13,  2.85s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:33<02:11,  2.86s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:36<02:08,  2.86s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:39<02:05,  2.85s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:42<02:01,  2.84s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:45<01:59,  2.85s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:47<01:56,  2.85s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:50<01:53,  2.84s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:53<01:50,  2.84s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:56<01:48,  2.85s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:59<01:45,  2.84s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:02<01:42,  2.85s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:05<01:39,  2.84s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:07<01:36,  2.85s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:10<01:33,  2.85s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:13<01:31,  2.85s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:16<01:28,  2.84s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:19<01:25,  2.84s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:22<01:22,  2.84s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:24<01:19,  2.84s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:27<01:16,  2.84s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:30<01:13,  2.84s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:33<01:11,  2.85s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:36<01:08,  2.86s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:39<01:05,  2.85s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:42<01:02,  2.86s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:44<00:59,  2.85s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:47<00:56,  2.84s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:50<00:54,  2.85s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:53<00:51,  2.85s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:56<00:48,  2.84s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:59<00:45,  2.84s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:01<00:42,  2.84s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:04<00:39,  2.85s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:07<00:37,  2.85s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:10<00:34,  2.84s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:13<00:31,  2.85s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:16<00:28,  2.84s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:19<00:25,  2.84s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:21<00:22,  2.84s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:24<00:19,  2.85s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:27<00:17,  2.85s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:30<00:14,  2.85s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:33<00:11,  2.85s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:36<00:08,  2.85s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:38<00:05,  2.85s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:41<00:02,  2.85s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:44<00:00,  2.85s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 100 200 0.001 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:06<11:09,  6.76s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:13<11:02,  6.76s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:20<10:56,  6.77s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:27<10:48,  6.76s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:33<10:40,  6.74s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:40<10:32,  6.73s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:47<10:24,  6.72s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:53<10:17,  6.71s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:00<10:12,  6.73s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:07<10:04,  6.71s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [01:14<09:58,  6.72s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [01:20<09:51,  6.72s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:27<09:44,  6.71s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:34<09:37,  6.72s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:40<09:30,  6.71s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:47<09:23,  6.71s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:54<09:17,  6.71s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [02:00<09:09,  6.71s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [02:07<09:01,  6.69s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [02:14<08:54,  6.68s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [02:21<08:49,  6.70s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [02:27<08:42,  6.70s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [02:34<08:34,  6.69s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [02:41<08:27,  6.68s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [02:47<08:20,  6.67s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:54<08:14,  6.68s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [03:01<08:07,  6.67s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [03:07<08:00,  6.67s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [03:14<07:54,  6.68s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [03:21<07:47,  6.68s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [03:27<07:40,  6.68s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [03:34<07:34,  6.68s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [03:41<07:27,  6.68s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [03:47<07:20,  6.68s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [03:54<07:13,  6.67s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [04:01<07:07,  6.68s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [04:07<07:00,  6.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [04:14<06:53,  6.67s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [04:21<06:49,  6.71s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [04:27<06:41,  6.70s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [04:34<06:34,  6.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [04:41<06:30,  6.73s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [04:48<06:25,  6.77s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [04:54<06:17,  6.74s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [05:01<06:09,  6.72s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [05:08<06:01,  6.70s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [05:15<05:54,  6.69s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [05:21<05:47,  6.68s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [05:28<05:40,  6.68s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [05:35<05:34,  6.68s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [05:41<05:27,  6.67s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [05:48<05:20,  6.68s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [05:55<05:13,  6.68s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [06:01<05:07,  6.69s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [06:08<05:00,  6.68s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [06:15<04:54,  6.69s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [06:21<04:48,  6.71s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [06:28<04:41,  6.70s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [06:35<04:34,  6.69s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [06:41<04:27,  6.69s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [06:48<04:20,  6.69s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [06:55<04:14,  6.69s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [07:01<04:06,  6.67s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [07:08<04:00,  6.68s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [07:15<03:54,  6.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [07:21<03:46,  6.67s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [07:28<03:40,  6.67s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [07:35<03:33,  6.67s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [07:41<03:26,  6.66s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [07:48<03:20,  6.67s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [07:55<03:13,  6.67s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [08:01<03:06,  6.66s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [08:08<03:00,  6.67s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [08:15<02:53,  6.66s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [08:22<02:47,  6.69s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [08:28<02:40,  6.69s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [08:35<02:34,  6.70s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [08:42<02:27,  6.69s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [08:48<02:20,  6.69s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [08:55<02:13,  6.70s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [09:02<02:06,  6.68s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [09:08<02:00,  6.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [09:15<01:53,  6.67s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [09:22<01:46,  6.67s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [09:28<01:40,  6.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [09:35<01:33,  6.68s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [09:42<01:27,  6.74s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [09:49<01:20,  6.72s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [09:55<01:13,  6.70s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [10:02<01:06,  6.69s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [10:09<01:00,  6.68s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [10:15<00:53,  6.68s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [10:22<00:46,  6.68s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [10:29<00:40,  6.68s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [10:35<00:33,  6.68s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [10:42<00:26,  6.68s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [10:49<00:20,  6.69s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [10:55<00:13,  6.68s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [11:02<00:06,  6.72s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:09<00:00,  6.69s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 200 0.01 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:03<05:14,  3.18s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:06<05:10,  3.17s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:09<05:07,  3.17s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:12<05:03,  3.17s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:15<05:00,  3.16s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:18<04:57,  3.16s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:22<04:54,  3.16s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:25<04:50,  3.16s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:28<04:47,  3.16s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:31<04:43,  3.15s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:34<04:40,  3.16s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:37<04:37,  3.16s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:41<04:34,  3.15s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:44<04:31,  3.16s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:47<04:27,  3.15s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:50<04:24,  3.15s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:53<04:21,  3.16s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:56<04:18,  3.16s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:59<04:15,  3.16s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:03<04:11,  3.15s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:06<04:09,  3.15s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:09<04:06,  3.16s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:12<04:03,  3.16s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:15<03:59,  3.15s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:18<03:57,  3.17s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:22<03:54,  3.16s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:25<03:50,  3.16s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:28<03:48,  3.17s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:31<03:44,  3.16s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:34<03:40,  3.15s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:37<03:37,  3.15s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:41<03:34,  3.15s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:44<03:31,  3.15s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:47<03:27,  3.15s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:50<03:25,  3.16s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:53<03:21,  3.15s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:56<03:18,  3.15s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:59<03:15,  3.16s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:03<03:12,  3.16s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:06<03:09,  3.15s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:09<03:06,  3.16s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:12<03:03,  3.16s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:15<03:00,  3.16s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:18<02:56,  3.16s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:22<02:53,  3.16s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:25<02:50,  3.15s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:28<02:47,  3.16s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:31<02:44,  3.16s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:34<02:41,  3.16s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:37<02:37,  3.16s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:40<02:34,  3.15s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:44<02:31,  3.15s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:47<02:28,  3.15s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:50<02:25,  3.16s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:53<02:22,  3.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:56<02:19,  3.17s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:59<02:15,  3.16s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:03<02:12,  3.16s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [03:06<02:09,  3.15s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [03:09<02:06,  3.16s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [03:12<02:03,  3.16s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [03:15<01:59,  3.15s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [03:18<01:56,  3.16s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:22<01:53,  3.15s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:25<01:50,  3.14s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:28<01:46,  3.14s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:31<01:44,  3.15s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:34<01:40,  3.15s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:37<01:37,  3.15s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:40<01:34,  3.16s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:44<01:31,  3.15s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:47<01:28,  3.16s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:50<01:25,  3.15s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:53<01:21,  3.15s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:56<01:18,  3.14s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:59<01:15,  3.15s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [04:03<01:12,  3.16s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [04:06<01:09,  3.16s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [04:09<01:06,  3.15s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [04:12<01:03,  3.15s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [04:15<00:59,  3.15s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [04:18<00:56,  3.16s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [04:21<00:53,  3.16s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [04:25<00:50,  3.17s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:28<00:47,  3.17s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:31<00:44,  3.17s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:34<00:41,  3.17s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:37<00:37,  3.16s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:41<00:34,  3.18s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:44<00:31,  3.17s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:47<00:28,  3.17s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:50<00:25,  3.17s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:53<00:22,  3.17s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:56<00:19,  3.17s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:59<00:15,  3.17s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [05:03<00:12,  3.17s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [05:06<00:09,  3.16s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [05:09<00:06,  3.19s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [05:12<00:03,  3.18s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:15<00:00,  3.16s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 200 0.01 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:45,  2.88s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:41,  2.88s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:37,  2.86s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:11<04:33,  2.85s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:14<04:30,  2.85s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:17<04:28,  2.85s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:19<04:25,  2.86s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:22<04:22,  2.85s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:25<04:18,  2.85s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:28<04:16,  2.85s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:31<04:13,  2.85s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:34<04:11,  2.86s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:37<04:08,  2.85s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:39<04:05,  2.86s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:42<04:03,  2.87s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:45<04:00,  2.87s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:48<03:57,  2.86s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:51<03:53,  2.85s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:54<03:50,  2.84s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:57<03:48,  2.85s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:59<03:45,  2.85s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:02<03:41,  2.84s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:05<03:38,  2.84s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:08<03:36,  2.84s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:11<03:33,  2.85s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:14<03:30,  2.85s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:16<03:27,  2.85s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:19<03:25,  2.85s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:22<03:22,  2.85s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:25<03:19,  2.84s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:28<03:16,  2.85s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:31<03:13,  2.85s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:34<03:11,  2.85s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:36<03:08,  2.85s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:39<03:05,  2.85s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:42<03:02,  2.85s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:45<02:59,  2.85s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:48<02:56,  2.84s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:51<02:54,  2.86s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:54<02:51,  2.86s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:56<02:48,  2.86s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:59<02:45,  2.86s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:02<02:42,  2.85s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:05<02:39,  2.85s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:08<02:36,  2.85s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:11<02:33,  2.85s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:13<02:30,  2.84s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:16<02:27,  2.84s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:19<02:25,  2.85s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:22<02:22,  2.85s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:25<02:18,  2.84s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:28<02:16,  2.84s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:31<02:13,  2.85s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:33<02:10,  2.85s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:36<02:08,  2.85s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:39<02:05,  2.85s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:42<02:02,  2.85s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:45<01:59,  2.85s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:48<01:56,  2.85s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:51<01:54,  2.86s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:53<01:51,  2.85s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:56<01:48,  2.85s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:59<01:45,  2.85s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:02<01:42,  2.85s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:05<01:39,  2.85s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:08<01:36,  2.85s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:10<01:33,  2.84s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:13<01:30,  2.84s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:16<01:28,  2.85s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:19<01:25,  2.84s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:22<01:22,  2.84s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:25<01:19,  2.84s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:28<01:17,  2.85s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:30<01:14,  2.85s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:33<01:11,  2.84s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:36<01:08,  2.85s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:39<01:05,  2.84s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:42<01:02,  2.84s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:45<00:59,  2.83s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:47<00:56,  2.83s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:50<00:53,  2.84s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:53<00:51,  2.85s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:56<00:48,  2.86s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:59<00:45,  2.86s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:02<00:42,  2.85s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:04<00:39,  2.84s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:07<00:36,  2.84s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:10<00:34,  2.85s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:13<00:31,  2.85s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:16<00:28,  2.85s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:19<00:25,  2.86s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:22<00:22,  2.85s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:24<00:19,  2.85s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:27<00:17,  2.86s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:30<00:14,  2.86s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:33<00:11,  2.86s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:36<00:08,  2.85s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:39<00:05,  2.85s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:42<00:02,  2.86s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:44<00:00,  2.85s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 100 200 0.01 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:06<11:05,  6.73s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:13<10:59,  6.73s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:20<10:51,  6.72s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:26<10:44,  6.71s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:33<10:38,  6.72s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:40<10:31,  6.71s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:47<10:24,  6.72s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:53<10:17,  6.71s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:00<10:10,  6.71s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:07<10:05,  6.73s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [01:13<09:58,  6.72s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [01:20<09:51,  6.72s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:27<09:44,  6.72s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:34<09:36,  6.71s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:40<09:30,  6.71s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:47<09:23,  6.71s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:54<09:16,  6.71s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [02:00<09:08,  6.69s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [02:07<09:01,  6.69s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [02:14<08:55,  6.69s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [02:20<08:49,  6.70s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [02:27<08:42,  6.70s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [02:34<08:35,  6.70s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [02:40<08:28,  6.69s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [02:47<08:22,  6.70s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:54<08:15,  6.69s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [03:01<08:07,  6.68s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [03:07<08:02,  6.70s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [03:14<07:55,  6.69s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [03:21<07:47,  6.69s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [03:27<07:42,  6.70s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [03:34<07:39,  6.75s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [03:41<07:31,  6.74s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [03:48<07:23,  6.73s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [03:54<07:16,  6.71s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [04:01<07:09,  6.71s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [04:08<07:02,  6.70s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [04:14<06:55,  6.70s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [04:21<06:48,  6.69s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [04:28<06:42,  6.70s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [04:34<06:34,  6.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [04:41<06:28,  6.69s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [04:48<06:23,  6.72s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [04:55<06:15,  6.71s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [05:02<06:16,  6.84s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [05:09<06:12,  6.91s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [05:16<06:02,  6.85s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [05:22<05:53,  6.80s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [05:29<05:44,  6.76s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [05:36<05:36,  6.73s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [05:42<05:29,  6.72s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [05:49<05:21,  6.70s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [05:56<05:14,  6.69s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [06:02<05:06,  6.67s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [06:09<05:00,  6.67s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [06:16<04:53,  6.67s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [06:22<04:46,  6.67s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [06:29<04:40,  6.68s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [06:36<04:33,  6.67s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [06:42<04:26,  6.67s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [06:49<04:20,  6.69s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [06:56<04:14,  6.69s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [07:02<04:07,  6.68s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [07:09<04:01,  6.71s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [07:16<03:54,  6.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [07:22<03:47,  6.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [07:29<03:40,  6.68s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [07:36<03:33,  6.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [07:42<03:27,  6.69s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [07:49<03:20,  6.69s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [07:56<03:13,  6.68s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [08:02<03:06,  6.67s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [08:09<03:00,  6.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [08:16<02:53,  6.68s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [08:22<02:46,  6.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [08:29<02:40,  6.68s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [08:36<02:33,  6.68s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [08:43<02:27,  6.69s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [08:49<02:20,  6.69s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [08:56<02:13,  6.68s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [09:03<02:06,  6.68s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [09:09<02:00,  6.70s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [09:16<01:53,  6.70s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [09:23<01:47,  6.70s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [09:29<01:40,  6.69s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [09:36<01:33,  6.68s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [09:43<01:26,  6.68s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [09:50<01:20,  6.72s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [09:56<01:13,  6.72s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [10:03<01:07,  6.71s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [10:10<01:00,  6.71s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [10:16<00:53,  6.70s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [10:23<00:46,  6.69s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [10:30<00:40,  6.68s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [10:36<00:33,  6.68s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [10:43<00:26,  6.69s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [10:50<00:20,  6.68s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [10:56<00:13,  6.69s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [11:03<00:06,  6.69s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:10<00:00,  6.70s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 200 0.005 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:03<05:17,  3.21s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:06<05:12,  3.19s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:09<05:07,  3.17s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:12<05:04,  3.17s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:15<05:00,  3.16s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:18<04:57,  3.16s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:22<04:53,  3.16s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:25<04:51,  3.17s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:28<04:48,  3.17s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:31<04:44,  3.16s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:34<04:41,  3.16s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:37<04:38,  3.16s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:41<04:34,  3.16s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:44<04:30,  3.15s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:47<04:28,  3.16s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:50<04:25,  3.16s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:53<04:21,  3.15s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:56<04:18,  3.15s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:59<04:14,  3.14s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:03<04:12,  3.15s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:06<04:08,  3.15s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:09<04:05,  3.14s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:12<04:03,  3.16s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:15<04:00,  3.17s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:18<03:57,  3.16s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:22<03:53,  3.16s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:25<03:50,  3.15s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:28<03:47,  3.15s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:31<03:44,  3.16s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:34<03:41,  3.16s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:37<03:37,  3.16s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:41<03:34,  3.15s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:44<03:31,  3.16s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:47<03:28,  3.16s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:50<03:24,  3.15s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:53<03:22,  3.16s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:56<03:19,  3.17s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:00<03:16,  3.17s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:03<03:13,  3.17s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:06<03:10,  3.17s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:09<03:06,  3.16s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:12<03:03,  3.16s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:15<02:59,  3.15s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:19<02:58,  3.18s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:22<02:56,  3.21s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:25<02:53,  3.21s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:28<02:49,  3.20s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:31<02:45,  3.18s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:35<02:42,  3.18s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:38<02:38,  3.17s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:41<02:35,  3.16s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:44<02:31,  3.17s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:47<02:28,  3.16s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:50<02:25,  3.17s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:53<02:22,  3.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:57<02:18,  3.16s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:00<02:15,  3.15s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:03<02:12,  3.16s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [03:06<02:09,  3.16s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [03:09<02:06,  3.16s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [03:12<02:03,  3.16s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [03:16<02:00,  3.16s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [03:19<01:56,  3.15s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:22<01:53,  3.16s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:25<01:50,  3.16s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:28<01:47,  3.16s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:31<01:44,  3.16s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:35<01:41,  3.16s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:38<01:38,  3.16s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:41<01:34,  3.16s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:44<01:31,  3.16s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:47<01:28,  3.16s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:50<01:25,  3.16s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:53<01:22,  3.16s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:57<01:19,  3.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [04:00<01:15,  3.16s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [04:03<01:12,  3.15s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [04:06<01:09,  3.16s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [04:09<01:06,  3.16s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [04:12<01:03,  3.16s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [04:16<01:00,  3.17s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [04:19<00:56,  3.16s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [04:22<00:53,  3.16s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [04:25<00:50,  3.15s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:28<00:47,  3.15s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:31<00:44,  3.14s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:35<00:40,  3.15s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:38<00:38,  3.17s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:41<00:34,  3.17s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:44<00:31,  3.17s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:47<00:28,  3.16s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:50<00:25,  3.16s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:54<00:22,  3.20s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:57<00:19,  3.19s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [05:00<00:15,  3.17s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [05:03<00:12,  3.17s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [05:06<00:09,  3.17s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [05:09<00:06,  3.17s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [05:13<00:03,  3.16s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:16<00:00,  3.16s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 200 0.005 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:43,  2.86s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:40,  2.86s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:37,  2.86s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:11<04:33,  2.85s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:14<04:30,  2.84s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:17<04:27,  2.84s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:19<04:25,  2.85s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:22<04:21,  2.84s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:25<04:19,  2.85s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:28<04:16,  2.85s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:31<04:13,  2.85s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:34<04:10,  2.85s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:37<04:07,  2.85s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:39<04:05,  2.86s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:42<04:02,  2.85s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:45<04:00,  2.86s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:48<03:58,  2.87s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:51<03:54,  2.86s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:54<03:51,  2.86s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:57<03:48,  2.85s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:59<03:45,  2.85s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:02<03:42,  2.85s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:05<03:39,  2.85s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:08<03:36,  2.85s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:11<03:33,  2.85s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:14<03:31,  2.85s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:17<03:28,  2.86s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:19<03:24,  2.85s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:22<03:21,  2.84s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:25<03:19,  2.84s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:28<03:16,  2.85s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:31<03:13,  2.85s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:34<03:10,  2.84s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:36<03:07,  2.85s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:39<03:05,  2.85s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:42<03:02,  2.85s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:45<02:58,  2.84s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:48<02:55,  2.84s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:51<02:53,  2.84s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:53<02:50,  2.84s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:56<02:47,  2.84s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:59<02:45,  2.85s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:02<02:42,  2.84s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:05<02:39,  2.85s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:08<02:36,  2.85s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:11<02:36,  2.90s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:14<02:32,  2.88s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:16<02:29,  2.88s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:19<02:26,  2.87s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:22<02:22,  2.86s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:25<02:19,  2.85s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:28<02:16,  2.85s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:31<02:14,  2.86s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:34<02:11,  2.85s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:36<02:08,  2.85s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:39<02:06,  2.87s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:42<02:03,  2.86s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:45<02:00,  2.86s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:48<01:56,  2.85s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:51<01:53,  2.85s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:54<01:50,  2.85s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:56<01:47,  2.84s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:59<01:45,  2.84s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:02<01:42,  2.84s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:05<01:39,  2.85s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:08<01:36,  2.85s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:11<01:34,  2.86s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:13<01:31,  2.85s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:16<01:28,  2.85s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:19<01:25,  2.86s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:22<01:23,  2.86s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:25<01:20,  2.86s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:28<01:16,  2.85s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:31<01:13,  2.85s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:33<01:11,  2.84s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:36<01:08,  2.85s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:39<01:05,  2.85s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:42<01:02,  2.85s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:45<00:59,  2.84s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:48<00:56,  2.84s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:51<00:54,  2.85s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:53<00:51,  2.85s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:56<00:48,  2.84s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:59<00:45,  2.83s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:02<00:42,  2.85s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:05<00:39,  2.85s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:08<00:36,  2.84s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:10<00:34,  2.85s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:13<00:31,  2.84s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:16<00:28,  2.84s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:19<00:25,  2.84s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:22<00:22,  2.84s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:25<00:19,  2.84s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:27<00:17,  2.84s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:30<00:14,  2.85s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:33<00:11,  2.85s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:36<00:08,  2.84s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:39<00:05,  2.86s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:42<00:02,  2.85s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:45<00:00,  2.85s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 100 200 0.005 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:29,  4.54s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:23,  4.52s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:13<07:18,  4.52s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:13,  4.52s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:22<07:08,  4.51s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:27<07:04,  4.52s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:31<06:59,  4.51s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:36<06:55,  4.52s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:40<06:51,  4.52s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:45<06:46,  4.52s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:49<06:42,  4.52s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:54<06:37,  4.52s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:58<06:33,  4.53s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:03<06:28,  4.52s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:07<06:24,  4.52s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:12<06:19,  4.52s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:16<06:15,  4.52s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:21<06:10,  4.52s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:25<06:07,  4.53s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:30<06:02,  4.53s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:34<05:57,  4.52s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:39<05:53,  4.53s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:43<05:48,  4.52s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:48<05:44,  4.53s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:53<05:39,  4.53s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:57<05:36,  4.55s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:02<05:31,  4.54s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:06<05:26,  4.53s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:11<05:21,  4.53s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:15<05:16,  4.52s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:20<05:11,  4.52s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:24<05:07,  4.52s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:29<05:02,  4.52s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:33<04:57,  4.51s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:38<04:53,  4.51s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:42<04:48,  4.51s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:47<04:44,  4.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:51<04:39,  4.51s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:56<04:34,  4.51s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:00<04:30,  4.51s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:05<04:25,  4.51s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:09<04:22,  4.52s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:14<04:17,  4.52s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:18<04:13,  4.52s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:23<04:08,  4.51s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:27<04:04,  4.52s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:32<03:59,  4.52s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:36<03:55,  4.53s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:41<03:50,  4.52s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:46<03:46,  4.52s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:50<03:41,  4.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:55<03:37,  4.53s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:59<03:33,  4.54s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:04<03:28,  4.54s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:08<03:23,  4.53s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:13<03:19,  4.53s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:17<03:14,  4.52s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:22<03:09,  4.52s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:26<03:05,  4.52s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:31<03:00,  4.51s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:35<02:55,  4.51s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:40<02:51,  4.52s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:44<02:46,  4.51s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:49<02:42,  4.51s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:53<02:37,  4.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:58<02:33,  4.50s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:02<02:28,  4.51s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:07<02:24,  4.51s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:11<02:19,  4.51s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:16<02:15,  4.50s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:20<02:10,  4.50s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:25<02:06,  4.50s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:29<02:01,  4.51s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:34<01:57,  4.52s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:38<01:52,  4.51s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:43<01:48,  4.51s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:47<01:43,  4.51s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:52<01:39,  4.51s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:56<01:35,  4.53s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [06:01<01:30,  4.53s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:06<01:25,  4.53s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:10<01:21,  4.52s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:15<01:16,  4.52s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:19<01:12,  4.52s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:24<01:07,  4.52s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:28<01:03,  4.52s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:33<00:59,  4.54s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:37<00:54,  4.56s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:42<00:50,  4.55s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:46<00:45,  4.53s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:51<00:40,  4.52s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:55<00:36,  4.51s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [07:00<00:31,  4.51s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:04<00:27,  4.51s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:09<00:22,  4.50s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:13<00:18,  4.50s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:18<00:13,  4.50s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:22<00:09,  4.51s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:27<00:04,  4.53s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:31<00:00,  4.52s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 400 0.001 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:31,  2.74s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:26,  2.72s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:22,  2.71s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:19,  2.70s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:13<04:15,  2.69s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:16<04:12,  2.69s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:18<04:09,  2.68s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:21<04:06,  2.68s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:24<04:04,  2.68s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:26<04:01,  2.68s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:29<03:58,  2.68s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:32<03:56,  2.68s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:34<03:53,  2.68s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:37<03:51,  2.69s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:40<03:47,  2.68s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:42<03:44,  2.68s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:45<03:41,  2.67s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:48<03:39,  2.68s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:50<03:36,  2.68s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:53<03:34,  2.68s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:56<03:31,  2.68s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:58<03:29,  2.68s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:01<03:26,  2.69s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:04<03:23,  2.68s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:07<03:20,  2.68s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:09<03:18,  2.69s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:12<03:16,  2.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:15<03:13,  2.69s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:17<03:10,  2.68s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:20<03:08,  2.69s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:23<03:05,  2.68s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:25<03:02,  2.68s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:28<02:59,  2.68s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:31<02:57,  2.68s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:33<02:55,  2.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:36<02:51,  2.68s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:39<02:49,  2.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:41<02:46,  2.69s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:44<02:43,  2.69s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:47<02:40,  2.68s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:50<02:38,  2.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:52<02:36,  2.69s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:55<02:33,  2.69s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:58<02:29,  2.67s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:00<02:26,  2.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:03<02:24,  2.67s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:06<02:23,  2.70s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:08<02:20,  2.70s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:11<02:17,  2.69s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:14<02:14,  2.69s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:16<02:11,  2.69s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:19<02:08,  2.68s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:22<02:06,  2.70s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:24<02:04,  2.70s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:27<02:01,  2.70s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:30<01:59,  2.71s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:33<01:55,  2.69s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:35<01:52,  2.69s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:38<01:50,  2.69s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:41<01:47,  2.68s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:43<01:44,  2.68s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:46<01:41,  2.68s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:49<01:39,  2.68s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:51<01:36,  2.68s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:54<01:33,  2.68s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:57<01:31,  2.68s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:59<01:28,  2.67s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:02<01:25,  2.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:05<01:22,  2.68s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:07<01:20,  2.68s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:10<01:17,  2.68s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:13<01:15,  2.69s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:15<01:12,  2.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:18<01:09,  2.68s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:21<01:06,  2.68s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:23<01:04,  2.68s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:26<01:01,  2.68s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:29<00:58,  2.68s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:32<00:56,  2.68s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:34<00:53,  2.69s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:37<00:50,  2.68s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:40<00:48,  2.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:42<00:45,  2.68s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:45<00:42,  2.68s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:48<00:40,  2.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:50<00:37,  2.68s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:53<00:34,  2.68s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:56<00:32,  2.69s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:58<00:29,  2.68s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:01<00:26,  2.68s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:04<00:24,  2.68s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:06<00:21,  2.69s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:09<00:18,  2.69s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:12<00:16,  2.68s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:14<00:13,  2.69s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:17<00:10,  2.68s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:20<00:08,  2.68s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:23<00:05,  2.69s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:25<00:02,  2.69s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:28<00:00,  2.68s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 400 0.001 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:15,  2.58s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:10,  2.56s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:07<04:06,  2.54s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:02,  2.52s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:12<03:59,  2.52s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:15<03:56,  2.52s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:17<03:53,  2.51s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:20<03:50,  2.51s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:22<03:48,  2.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:25<03:46,  2.52s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:27<03:47,  2.55s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:30<03:42,  2.53s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:32<03:39,  2.52s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:35<03:37,  2.53s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:37<03:34,  2.52s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:40<03:31,  2.52s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:42<03:28,  2.51s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:45<03:25,  2.51s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:47<03:23,  2.51s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:50<03:20,  2.51s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:52<03:17,  2.50s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:55<03:15,  2.51s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [00:57<03:13,  2.51s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:00<03:10,  2.51s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:02<03:08,  2.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:05<03:05,  2.50s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:07<03:03,  2.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:10<03:00,  2.50s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:12<02:57,  2.50s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:15<02:55,  2.50s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:17<02:52,  2.51s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:20<02:50,  2.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:22<02:48,  2.51s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:25<02:45,  2.51s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:27<02:43,  2.52s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:30<02:41,  2.52s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:32<02:38,  2.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:35<02:36,  2.52s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:38<02:34,  2.52s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:40<02:31,  2.53s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:43<02:28,  2.52s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:45<02:25,  2.51s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:48<02:23,  2.51s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:50<02:20,  2.52s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [01:53<02:18,  2.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [01:55<02:16,  2.54s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [01:58<02:14,  2.54s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:00<02:11,  2.53s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:03<02:08,  2.52s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:05<02:05,  2.52s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:08<02:03,  2.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:10<02:00,  2.51s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:13<01:57,  2.51s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:15<01:55,  2.52s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:18<01:53,  2.51s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:20<01:50,  2.51s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:23<01:47,  2.50s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:25<01:45,  2.51s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:28<01:43,  2.52s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:30<01:40,  2.52s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:33<01:38,  2.52s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:35<01:35,  2.53s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:38<01:33,  2.51s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:40<01:30,  2.51s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:43<01:27,  2.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:45<01:25,  2.51s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:48<01:23,  2.52s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [02:51<01:20,  2.52s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [02:53<01:17,  2.51s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [02:56<01:15,  2.51s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [02:58<01:12,  2.51s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:01<01:10,  2.50s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:03<01:07,  2.50s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:06<01:05,  2.50s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:08<01:02,  2.50s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:11<01:00,  2.50s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:13<00:57,  2.51s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:16<00:55,  2.51s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:18<00:52,  2.51s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:21<00:50,  2.51s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:23<00:47,  2.51s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:26<00:45,  2.51s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:28<00:42,  2.52s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:31<00:40,  2.52s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:33<00:37,  2.51s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:36<00:35,  2.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:38<00:32,  2.51s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:41<00:30,  2.51s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:43<00:27,  2.52s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [03:46<00:25,  2.52s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [03:48<00:22,  2.52s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [03:51<00:20,  2.51s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [03:53<00:17,  2.54s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [03:56<00:15,  2.54s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [03:58<00:12,  2.53s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:01<00:10,  2.52s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:03<00:07,  2.52s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:06<00:05,  2.52s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:08<00:02,  2.51s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00,  2.51s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 100 400 0.001 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:32,  4.57s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:25,  4.55s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:13<07:18,  4.52s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:16,  4.54s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:22<07:10,  4.53s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:27<07:08,  4.55s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:31<07:01,  4.53s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:36<06:55,  4.52s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:40<06:50,  4.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:45<06:45,  4.50s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:49<06:41,  4.52s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:54<06:36,  4.51s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:58<06:31,  4.51s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:03<06:27,  4.51s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:07<06:23,  4.51s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:12<06:19,  4.51s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:16<06:14,  4.52s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:21<06:09,  4.51s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:25<06:05,  4.51s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:30<06:00,  4.51s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:34<05:55,  4.50s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:39<05:51,  4.50s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:43<05:47,  4.51s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:48<05:42,  4.51s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:52<05:37,  4.50s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:57<05:32,  4.49s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:01<05:27,  4.49s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:06<05:24,  4.50s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:10<05:18,  4.49s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:15<05:14,  4.49s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:19<05:10,  4.50s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:24<05:06,  4.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:28<05:02,  4.52s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:33<04:57,  4.51s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:37<04:52,  4.50s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:42<04:47,  4.50s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:46<04:43,  4.49s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:51<04:38,  4.50s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:55<04:33,  4.48s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:00<04:28,  4.48s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:04<04:24,  4.48s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:09<04:19,  4.48s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:13<04:15,  4.48s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:18<04:11,  4.49s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:22<04:06,  4.49s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:27<04:03,  4.50s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:31<03:58,  4.49s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:36<03:53,  4.49s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:40<03:48,  4.48s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:45<03:44,  4.49s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:49<03:40,  4.50s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:54<03:35,  4.48s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:58<03:30,  4.48s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:02<03:26,  4.48s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:07<03:21,  4.47s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:11<03:16,  4.47s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:16<03:12,  4.47s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:20<03:07,  4.48s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:25<03:03,  4.47s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:29<02:58,  4.47s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:34<02:54,  4.47s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:38<02:49,  4.47s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:43<02:45,  4.48s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:47<02:41,  4.48s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:52<02:36,  4.48s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:56<02:32,  4.48s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:01<02:27,  4.48s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:05<02:23,  4.48s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:10<02:18,  4.48s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:14<02:14,  4.47s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:19<02:09,  4.48s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:23<02:05,  4.49s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:28<02:01,  4.49s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:32<01:56,  4.48s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:37<01:52,  4.49s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:41<01:47,  4.49s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:46<01:43,  4.51s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:50<01:39,  4.51s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:55<01:34,  4.49s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:59<01:29,  4.50s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:04<01:25,  4.51s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:08<01:21,  4.54s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:13<01:17,  4.56s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:17<01:12,  4.54s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:22<01:07,  4.52s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:26<01:03,  4.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:31<00:58,  4.50s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:35<00:53,  4.49s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:40<00:49,  4.48s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:44<00:44,  4.48s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:49<00:40,  4.48s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:53<00:35,  4.47s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:58<00:31,  4.48s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:02<00:26,  4.48s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:07<00:22,  4.48s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:11<00:17,  4.48s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:15<00:13,  4.48s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:20<00:08,  4.48s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:24<00:04,  4.48s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:29<00:00,  4.49s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 400 0.01 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:28,  2.72s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:24,  2.70s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:20,  2.68s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:17,  2.68s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:13<04:16,  2.70s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:16<04:12,  2.69s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:18<04:10,  2.69s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:21<04:07,  2.69s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:24<04:04,  2.68s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:26<04:01,  2.68s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:29<03:57,  2.67s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:32<03:55,  2.67s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:34<03:52,  2.67s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:37<03:49,  2.67s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:40<03:46,  2.66s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:42<03:43,  2.67s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:45<03:41,  2.66s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:48<03:38,  2.66s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:50<03:35,  2.66s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:53<03:33,  2.67s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:56<03:31,  2.68s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:58<03:28,  2.68s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:01<03:26,  2.68s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:04<03:23,  2.68s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:06<03:20,  2.68s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:09<03:17,  2.67s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:12<03:15,  2.67s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:14<03:12,  2.67s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:17<03:09,  2.67s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:20<03:06,  2.67s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:22<03:03,  2.66s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:25<03:01,  2.67s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:28<02:58,  2.67s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:30<02:55,  2.66s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:33<02:53,  2.67s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:36<02:50,  2.66s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:38<02:48,  2.67s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:41<02:45,  2.67s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:44<02:43,  2.68s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:46<02:40,  2.67s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:49<02:37,  2.67s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:52<02:35,  2.68s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:54<02:32,  2.68s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:57<02:29,  2.68s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:00<02:27,  2.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:02<02:24,  2.68s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:05<02:21,  2.68s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:08<02:19,  2.68s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:10<02:16,  2.68s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:13<02:14,  2.69s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:16<02:11,  2.69s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:19<02:08,  2.68s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:21<02:05,  2.68s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:24<02:03,  2.68s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:27<02:00,  2.67s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:29<01:57,  2.67s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:32<01:54,  2.67s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:35<01:52,  2.68s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:37<01:49,  2.68s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:40<01:46,  2.67s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:43<01:44,  2.67s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:45<01:41,  2.67s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:48<01:38,  2.67s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:51<01:36,  2.67s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:53<01:33,  2.68s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:56<01:31,  2.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:59<01:28,  2.68s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:01<01:25,  2.67s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:04<01:22,  2.68s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:07<01:20,  2.68s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:09<01:17,  2.68s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:12<01:14,  2.68s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:15<01:12,  2.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:17<01:09,  2.67s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:20<01:06,  2.66s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:23<01:03,  2.67s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:25<01:01,  2.67s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:28<00:58,  2.67s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:31<00:55,  2.67s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:33<00:53,  2.67s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:36<00:50,  2.67s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:39<00:48,  2.67s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:41<00:45,  2.67s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:44<00:42,  2.67s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:47<00:40,  2.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:50<00:37,  2.71s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:52<00:35,  2.70s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:55<00:32,  2.70s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:58<00:29,  2.68s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:00<00:26,  2.68s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:03<00:24,  2.69s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:06<00:21,  2.68s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:08<00:18,  2.68s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:11<00:16,  2.67s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:14<00:13,  2.70s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:16<00:10,  2.70s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:19<00:08,  2.69s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:22<00:05,  2.69s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:24<00:02,  2.69s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:27<00:00,  2.68s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 400 0.01 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:11,  2.54s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:07,  2.53s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:07<04:05,  2.53s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:02,  2.52s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:12<03:59,  2.52s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:15<03:55,  2.51s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:17<03:53,  2.51s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:20<03:51,  2.51s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:22<03:48,  2.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:25<03:45,  2.51s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:27<03:44,  2.52s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:30<03:42,  2.53s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:32<03:39,  2.52s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:35<03:35,  2.51s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:37<03:33,  2.51s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:40<03:31,  2.51s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:42<03:28,  2.51s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:45<03:25,  2.51s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:47<03:23,  2.51s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:50<03:20,  2.51s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:52<03:18,  2.51s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:55<03:15,  2.51s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [00:57<03:12,  2.50s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:00<03:10,  2.50s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:02<03:07,  2.50s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:05<03:05,  2.51s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:07<03:02,  2.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:10<03:00,  2.51s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:12<02:58,  2.51s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:15<02:55,  2.51s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:17<02:53,  2.52s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:20<02:50,  2.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:22<02:48,  2.51s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:25<02:45,  2.50s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:27<02:42,  2.50s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:30<02:40,  2.51s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:32<02:38,  2.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:35<02:35,  2.51s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:37<02:33,  2.51s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:40<02:30,  2.52s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:42<02:28,  2.51s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:45<02:26,  2.52s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:48<02:24,  2.53s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:50<02:21,  2.53s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [01:53<02:18,  2.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [01:55<02:16,  2.52s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [01:58<02:13,  2.52s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:00<02:10,  2.52s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:03<02:07,  2.51s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:05<02:05,  2.50s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:08<02:02,  2.50s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:10<02:00,  2.51s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:13<01:57,  2.51s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:15<01:55,  2.50s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:18<01:52,  2.51s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:20<01:50,  2.51s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:23<01:47,  2.50s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:25<01:45,  2.51s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:28<01:42,  2.51s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:30<01:40,  2.51s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:33<01:37,  2.51s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:35<01:35,  2.51s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:38<01:32,  2.51s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:40<01:30,  2.51s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:43<01:27,  2.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:45<01:25,  2.51s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:48<01:22,  2.51s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [02:50<01:20,  2.50s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [02:53<01:17,  2.50s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [02:55<01:15,  2.50s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [02:58<01:12,  2.50s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:00<01:10,  2.50s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:03<01:07,  2.50s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:05<01:05,  2.51s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:08<01:02,  2.52s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:10<01:00,  2.51s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:13<00:57,  2.51s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:15<00:55,  2.51s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:18<00:52,  2.51s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:20<00:50,  2.51s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:23<00:47,  2.51s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:25<00:45,  2.51s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:28<00:42,  2.52s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:30<00:40,  2.52s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:33<00:37,  2.51s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:35<00:35,  2.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:38<00:32,  2.51s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:40<00:30,  2.52s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:43<00:27,  2.51s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [03:45<00:25,  2.52s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [03:48<00:22,  2.51s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [03:50<00:20,  2.52s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [03:53<00:17,  2.51s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [03:56<00:15,  2.52s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [03:58<00:12,  2.51s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:01<00:10,  2.52s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:03<00:07,  2.52s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:06<00:05,  2.52s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:08<00:02,  2.52s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00,  2.51s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
SGD 100 400 0.01 DONE
NEW LOOP







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:30,  4.55s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:24,  4.54s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:13<07:18,  4.52s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:13,  4.52s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:22<07:08,  4.51s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:27<07:03,  4.51s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:31<06:59,  4.51s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:36<06:55,  4.51s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:40<06:50,  4.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:45<06:45,  4.50s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:49<06:40,  4.50s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:54<06:35,  4.50s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:58<06:31,  4.50s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:03<06:26,  4.50s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:07<06:22,  4.50s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:12<06:17,  4.50s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:16<06:13,  4.51s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:21<06:10,  4.51s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:25<06:04,  4.50s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:30<06:00,  4.51s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:34<05:58,  4.53s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:39<05:52,  4.52s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:43<05:47,  4.52s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:48<05:42,  4.50s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:52<05:37,  4.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:57<05:33,  4.50s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:01<05:28,  4.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:06<05:24,  4.51s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:10<05:20,  4.51s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:15<05:15,  4.50s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:19<05:10,  4.51s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:24<05:06,  4.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:28<05:01,  4.50s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:33<04:56,  4.49s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:37<04:51,  4.48s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:42<04:47,  4.49s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:46<04:42,  4.48s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:51<04:38,  4.49s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:55<04:33,  4.48s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:00<04:29,  4.49s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:04<04:24,  4.48s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:09<04:19,  4.47s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:13<04:15,  4.48s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:17<04:10,  4.48s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:22<04:06,  4.49s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:26<04:01,  4.48s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:31<03:57,  4.48s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:35<03:53,  4.50s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:40<03:48,  4.49s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:44<03:44,  4.48s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:49<03:39,  4.47s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:53<03:34,  4.47s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:58<03:30,  4.47s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:02<03:26,  4.48s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:07<03:21,  4.48s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:11<03:17,  4.49s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:16<03:13,  4.51s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:20<03:09,  4.50s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:25<03:04,  4.49s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:29<02:59,  4.49s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:34<02:54,  4.48s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:38<02:50,  4.48s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:43<02:45,  4.48s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:47<02:41,  4.47s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:52<02:36,  4.48s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:56<02:32,  4.48s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:01<02:28,  4.49s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:05<02:23,  4.49s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:10<02:19,  4.49s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:14<02:14,  4.50s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:19<02:10,  4.49s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:23<02:05,  4.49s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:28<02:00,  4.48s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:32<01:56,  4.47s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:37<01:52,  4.50s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:41<01:47,  4.49s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:46<01:43,  4.49s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:50<01:38,  4.48s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:54<01:34,  4.48s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:59<01:29,  4.48s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:03<01:25,  4.48s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:08<01:20,  4.48s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:12<01:16,  4.48s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:17<01:11,  4.49s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:21<01:07,  4.49s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:26<01:03,  4.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:30<00:58,  4.50s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:35<00:53,  4.50s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:39<00:49,  4.49s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:44<00:44,  4.50s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:48<00:40,  4.48s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:53<00:35,  4.49s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:57<00:31,  4.48s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:02<00:26,  4.48s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:06<00:22,  4.48s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:11<00:17,  4.47s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:15<00:13,  4.48s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:20<00:08,  4.48s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:24<00:04,  4.49s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:29<00:00,  4.49s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
NADAM 100 400 0.005 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:29,  2.72s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:27,  2.73s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:23,  2.71s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:19,  2.70s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:13<04:15,  2.69s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:16<04:11,  2.68s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:18<04:08,  2.67s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:21<04:05,  2.67s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:24<04:02,  2.67s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:26<04:00,  2.67s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:29<03:58,  2.67s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:32<03:54,  2.67s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:34<03:52,  2.67s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:37<03:50,  2.68s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:40<03:47,  2.68s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:42<03:44,  2.68s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:45<03:41,  2.67s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:48<03:38,  2.67s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:50<03:35,  2.67s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:53<03:33,  2.67s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:56<03:31,  2.67s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:58<03:28,  2.67s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:01<03:25,  2.67s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:04<03:23,  2.67s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:06<03:21,  2.68s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:09<03:17,  2.67s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:12<03:14,  2.67s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:14<03:12,  2.68s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:17<03:09,  2.67s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:20<03:06,  2.67s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:22<03:03,  2.66s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:25<03:01,  2.67s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:28<02:59,  2.68s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:30<02:56,  2.67s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:33<02:53,  2.67s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:36<02:51,  2.69s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:39<02:48,  2.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:41<02:46,  2.68s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:44<02:43,  2.67s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:47<02:41,  2.69s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:49<02:37,  2.68s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:52<02:34,  2.67s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:55<02:32,  2.67s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:57<02:29,  2.67s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:00<02:26,  2.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:03<02:24,  2.67s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:05<02:22,  2.68s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:08<02:19,  2.68s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:11<02:16,  2.67s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:13<02:13,  2.67s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:16<02:11,  2.67s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:19<02:08,  2.67s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:21<02:05,  2.68s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:24<02:03,  2.69s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:27<02:00,  2.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:29<01:57,  2.68s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:32<01:55,  2.68s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:35<01:52,  2.68s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:37<01:49,  2.68s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:40<01:47,  2.68s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:43<01:45,  2.71s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:46<01:42,  2.71s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:48<01:39,  2.70s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:51<01:36,  2.68s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:54<01:33,  2.68s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:56<01:31,  2.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:59<01:28,  2.68s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:02<01:25,  2.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:04<01:23,  2.69s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:07<01:20,  2.68s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:10<01:18,  2.69s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:12<01:15,  2.68s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:15<01:12,  2.67s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:18<01:09,  2.68s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:20<01:06,  2.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:23<01:03,  2.67s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:26<01:01,  2.67s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:28<00:58,  2.67s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:31<00:55,  2.66s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:34<00:53,  2.66s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:36<00:50,  2.67s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:39<00:48,  2.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:42<00:45,  2.68s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:44<00:42,  2.68s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:47<00:40,  2.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:50<00:37,  2.69s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:52<00:34,  2.69s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:55<00:32,  2.68s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:58<00:29,  2.69s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:01<00:28,  2.84s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:04<00:25,  2.82s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:07<00:22,  2.79s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:09<00:19,  2.76s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:12<00:16,  2.74s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:15<00:13,  2.71s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:17<00:10,  2.70s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:20<00:08,  2.69s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:23<00:05,  2.69s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:25<00:02,  2.68s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:28<00:00,  2.68s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]
ADAM 100 400 0.005 DONE







  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:12,  2.55s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:10,  2.55s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:07<04:06,  2.54s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:03,  2.54s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:12<04:00,  2.53s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:15<03:57,  2.52s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:17<03:54,  2.52s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:20<03:51,  2.52s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:22<03:48,  2.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:25<03:46,  2.51s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:27<03:44,  2.52s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:30<03:41,  2.52s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:32<03:38,  2.52s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:35<03:35,  2.51s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:37<03:32,  2.50s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:40<03:30,  2.50s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:42<03:27,  2.50s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:45<03:24,  2.50s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:47<03:22,  2.50s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:50<03:20,  2.50s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:52<03:17,  2.50s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:55<03:14,  2.50s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [00:57<03:12,  2.50s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:00<03:10,  2.51s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:02<03:08,  2.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:05<03:05,  2.51s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:07<03:03,  2.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:10<03:00,  2.51s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:12<02:58,  2.51s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:15<02:55,  2.51s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:17<02:53,  2.51s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:20<02:51,  2.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:22<02:48,  2.52s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:25<02:46,  2.52s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:27<02:43,  2.51s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:30<02:40,  2.51s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:32<02:38,  2.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:35<02:35,  2.51s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:37<02:33,  2.51s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:40<02:30,  2.51s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:42<02:27,  2.51s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:45<02:25,  2.51s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:47<02:22,  2.50s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:50<02:20,  2.50s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [01:53<02:17,  2.51s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [01:55<02:15,  2.51s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [01:58<02:13,  2.52s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:00<02:10,  2.52s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:03<02:08,  2.52s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:05<02:05,  2.51s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:08<02:02,  2.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:10<02:00,  2.51s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:13<01:57,  2.50s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:15<01:55,  2.51s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:18<01:53,  2.52s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:20<01:50,  2.52s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:23<01:47,  2.51s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:25<01:45,  2.50s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:28<01:42,  2.50s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:30<01:40,  2.50s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:33<01:37,  2.50s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:35<01:34,  2.49s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:38<01:32,  2.49s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:40<01:30,  2.50s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:43<01:27,  2.50s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:45<01:24,  2.50s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:48<01:22,  2.50s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [02:50<01:20,  2.51s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [02:53<01:17,  2.51s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [02:55<01:15,  2.51s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [02:58<01:12,  2.51s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:00<01:10,  2.51s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:03<01:07,  2.51s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:05<01:05,  2.50s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:08<01:02,  2.51s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:10<01:00,  2.51s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:13<00:57,  2.52s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:15<00:55,  2.52s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:18<00:52,  2.51s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:20<00:50,  2.51s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:23<00:47,  2.51s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:25<00:45,  2.51s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:28<00:42,  2.50s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:30<00:40,  2.50s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:33<00:37,  2.50s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:35<00:35,  2.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:38<00:32,  2.52s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:40<00:30,  2.52s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:43<00:27,  2.52s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [03:45<00:25,  2.51s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [03:48<00:22,  2.52s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [03:50<00:20,  2.52s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [03:53<00:17,  2.52s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [03:55<00:15,  2.51s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [03:58<00:12,  2.51s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:00<00:10,  2.51s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:03<00:07,  2.51s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:06<00:05,  2.52s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:08<00:02,  2.53s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00,  2.51s/it]
SGD 100 400 0.005 DONE

In [3]:
import pandas as pd
history_competition=pd.read_csv("MLP_PARAMS_2.csv")
pd.options.display.max_rows = 4000
history_competition.sort_values(by=['Fscore'],ascending=False)
Out[3]:
Loss Accuracy Fscore layers weights biases units optim lr batch size epochs
64 5.358891 0.284558 0.275329 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 200.0 100.0
28 3.488418 0.268038 0.272130 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 100.0 50.0
27 3.187775 0.265678 0.255621 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 100.0 50.0
37 3.053844 0.240728 0.246001 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 200.0 50.0
73 3.898921 0.250506 0.245556 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 400.0 100.0
54 4.343975 0.256237 0.244087 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 100.0 100.0
55 6.385560 0.257249 0.242011 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 100.0 100.0
62 2.407799 0.255226 0.240534 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 100.0 100.0
32 2.344236 0.242751 0.239133 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 100.0 50.0
46 2.638489 0.238705 0.235545 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 400.0 50.0
59 3.013742 0.274444 0.224760 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 100.0 100.0
10 2.429786 0.238031 0.221636 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 200.0 25.0
0 2.444752 0.238031 0.221121 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 100.0 25.0
68 2.471185 0.261295 0.217037 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 200.0 100.0
1 2.563978 0.247134 0.209686 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 100.0 25.0
72 2.838919 0.236345 0.202449 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 400.0 100.0
35 2.299524 0.256575 0.199594 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 100.0 50.0
71 2.336547 0.249494 0.199266 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 200.0 100.0
77 2.366196 0.232974 0.197617 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 400.0 100.0
41 2.291410 0.257586 0.196105 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 200.0 50.0
36 2.994898 0.235671 0.193166 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 200.0 50.0
63 4.851068 0.182063 0.190086 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 200.0 100.0
19 2.418963 0.230276 0.189865 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.001 400.0 25.0
5 2.322507 0.239042 0.187623 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 100.0 25.0
56 2.333293 0.241065 0.186397 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 100.0 100.0
80 2.337733 0.223871 0.184408 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 400.0 100.0
8 2.325088 0.240391 0.180724 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 100.0 25.0
45 2.580216 0.217465 0.177267 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 400.0 50.0
44 2.334978 0.238705 0.174018 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 200.0 50.0
50 2.328487 0.242077 0.165335 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 400.0 50.0
17 2.360751 0.229939 0.162259 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 200.0 25.0
14 2.338974 0.241065 0.150125 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 200.0 25.0
29 2.361950 0.230276 0.145663 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 100.0 50.0
65 2.363729 0.232637 0.145073 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 200.0 100.0
9 2.743599 0.200270 0.136354 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 200.0 25.0
38 2.409412 0.213756 0.127948 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 200.0 50.0
53 2.365099 0.218139 0.124627 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 400.0 50.0
74 2.412102 0.212070 0.123800 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 400.0 100.0
18 2.615246 0.161834 0.119176 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.001 400.0 25.0
26 2.428405 0.213082 0.109760 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.005 400.0 25.0
2 2.430303 0.196561 0.106637 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 100.0 25.0
47 2.467147 0.187121 0.100612 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 400.0 50.0
23 2.501509 0.160486 0.094135 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.010 400.0 25.0
11 2.464169 0.191841 0.089822 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 200.0 25.0
20 2.503372 0.178692 0.061598 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 SGD 0.001 400.0 25.0
39 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 200.0 50.0
4 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 100.0 25.0
7 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 100.0 25.0
67 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 200.0 100.0
66 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 200.0 100.0
30 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 100.0 50.0
31 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 100.0 50.0
12 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 200.0 25.0
58 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 100.0 100.0
57 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 100.0 100.0
3 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 100.0 25.0
75 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 400.0 100.0
76 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 400.0 100.0
52 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 400.0 50.0
49 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 400.0 50.0
48 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 400.0 50.0
22 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 400.0 25.0
21 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.010 400.0 25.0
43 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 200.0 50.0
42 13.411815 0.167903 0.020538 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 200.0 50.0
25 14.351950 0.109575 0.014108 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 400.0 25.0
78 14.351947 0.109575 0.014108 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 400.0 100.0
61 14.351950 0.109575 0.014108 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 100.0 100.0
16 14.351950 0.109575 0.014108 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 200.0 25.0
69 14.351950 0.109575 0.014108 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 200.0 100.0
13 14.351950 0.109575 0.014108 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 200.0 25.0
24 14.770391 0.083614 0.011023 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 400.0 25.0
40 14.770391 0.083614 0.011023 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.010 200.0 50.0
70 14.846472 0.078894 0.010446 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 200.0 100.0
79 14.927987 0.073837 0.009823 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 400.0 100.0
6 15.080148 0.064396 0.008643 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 100.0 25.0
33 15.259480 0.053270 0.007225 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 100.0 50.0
15 15.259480 0.053270 0.007225 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 200.0 25.0
51 15.259480 0.053270 0.007225 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 400.0 50.0
34 15.259480 0.053270 0.007225 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Adam 0.005 100.0 50.0
60 15.406206 0.044167 0.006043 2 ('random_normal_initializer',) ('random_normal_initializer',) 256 Nadam 0.005 100.0 100.0
In [24]:
model=MLP()
model.compile(layers=2,
              units=256,
              initializer_weights=tf.random_normal_initializer,
              initializer_bias=tf.random_normal_initializer,
              batch=200,
              optim=tf.keras.optimizers.Nadam(learning_rate=0.001),
              epoch=100)
In [26]:
history, history_test, history_valid = model.fit(dataset=images,labels_train=labels,epochs=100,dataset_test=images_test, dataset_valid=images_valid, labels_test=labels_test, labels_valid=labels_valid,batch=200)   
100%|████████████████████████████████████████████████████████████████████████████████| 100/100 [02:29<00:00,  1.49s/it]
In [46]:
history = pd.DataFrame(history)
tmp = pd.DataFrame(history_test).add_prefix('test_')
tmp2= pd.DataFrame(history_valid).add_prefix('valid_')
results= pd.concat([tmp,tmp2],axis=1)
results= pd.concat([results,history],axis=1)
In [47]:
results
Out[47]:
test_Loss test_Accuracy test_Fscore valid_Loss valid_Accuracy valid_Fscore Loss Accuracy Fscore
0 2.529044 0.184086 0.049964 2.539129 (0.17813765182186234, 0.04595097475109721) 0.049964 2.709586 0.178692 0.044646
1 2.452564 0.189144 0.082559 2.466750 (0.18454790823211875, 0.07901322097794042) 0.082559 2.469884 0.197520 0.094576
2 2.554003 0.139919 0.077272 2.548983 (0.1420377867746289, 0.07839456436480872) 0.077272 2.429084 0.151747 0.083289
3 2.470727 0.153068 0.077490 2.478563 (0.15215924426450742, 0.07877101879072228) 0.077490 2.408594 0.166742 0.092759
4 2.413075 0.202630 0.134983 2.414292 (0.19736842105263158, 0.128752282836218) 0.134983 2.374476 0.219729 0.150188
5 2.419237 0.204316 0.157178 2.420052 (0.19973009446693657, 0.1528431000714762) 0.157178 2.341604 0.230778 0.182585
6 2.641297 0.152057 0.093977 2.624021 (0.1572199730094467, 0.09736460295610412) 0.093977 2.326790 0.167306 0.109732
7 2.395950 0.206339 0.151491 2.394372 (0.20276653171390013, 0.1418432073568099) 0.151491 2.318746 0.241488 0.179923
8 2.467972 0.202293 0.125621 2.459371 (0.20276653171390013, 0.12280104837460694) 0.125621 2.274464 0.230778 0.150431
9 2.429583 0.169589 0.143993 2.431967 (0.1747638326585695, 0.14702857066678185) 0.143993 2.272833 0.222886 0.193673
10 2.328012 0.237020 0.158905 2.334301 (0.23515519568151147, 0.15345969390417027) 0.158905 2.233474 0.283427 0.202172
11 2.376043 0.209710 0.152963 2.363364 (0.2233468286099865, 0.16156523062195666) 0.152963 2.220207 0.267644 0.210915
12 2.520448 0.161834 0.124673 2.508741 (0.16734143049932523, 0.1373638025659231) 0.124673 2.184194 0.214656 0.182651
13 2.518088 0.203978 0.120008 2.518901 (0.1926450742240216, 0.10820032021032268) 0.120008 2.188489 0.227170 0.143995
14 2.509005 0.204653 0.157999 2.473092 (0.21558704453441296, 0.15769799108690327) 0.157999 2.152094 0.266404 0.210682
15 2.364761 0.234659 0.168472 2.346060 (0.2408906882591093, 0.1799569793579443) 0.168472 2.133380 0.308343 0.250956
16 2.452307 0.219825 0.159695 2.432385 (0.2162618083670715, 0.15802994108719412) 0.159695 2.119722 0.286133 0.221691
17 2.529145 0.207687 0.129575 2.528578 (0.19736842105263158, 0.11734041575638665) 0.129575 2.093160 0.257159 0.180944
18 2.598544 0.179366 0.153736 2.588562 (0.18859649122807018, 0.16545277471463732) 0.153736 2.056511 0.252988 0.226334
19 2.363426 0.238705 0.151343 2.355802 (0.23785425101214575, 0.15692518020256166) 0.151343 2.043784 0.321646 0.255408
20 2.431872 0.215105 0.168372 2.420557 (0.2125506072874494, 0.16330500319190833) 0.168372 2.012369 0.316460 0.275164
21 2.338538 0.252192 0.197802 2.324235 (0.24865047233468285, 0.19641417955764892) 0.197802 2.023008 0.380271 0.345236
22 2.543946 0.211396 0.141499 2.515146 (0.20479082321187583, 0.13727806819982383) 0.141499 2.016649 0.280834 0.222198
23 2.659749 0.167903 0.158855 2.635288 (0.17341430499325236, 0.16115837511750786) 0.158855 1.953059 0.275648 0.266310
24 2.659366 0.243088 0.156877 2.644775 (0.23279352226720648, 0.14528489810735543) 0.156877 1.949055 0.322773 0.242370
25 2.420882 0.234997 0.176462 2.425997 (0.2324561403508772, 0.17303238230878418) 0.176462 2.369622 0.336979 0.289022
26 2.395576 0.224882 0.193770 2.400070 (0.2216599190283401, 0.19035838433433686) 0.193770 1.937064 0.368658 0.342506
27 2.602285 0.206001 0.171874 2.598465 (0.20985155195681512, 0.17049244765593533) 0.171874 1.894349 0.315558 0.275636
28 2.511626 0.208024 0.165693 2.513806 (0.21322537112010798, 0.16484937504405267) 0.165693 1.858507 0.332018 0.288336
29 2.500727 0.226231 0.201006 2.495346 (0.22064777327935223, 0.19283010972305745) 0.201006 1.853490 0.374746 0.357635
30 2.503329 0.200607 0.160706 2.474345 (0.19770580296896087, 0.15960648556444182) 0.160706 1.977174 0.310147 0.282432
31 2.408514 0.224208 0.206500 2.392910 (0.23380566801619435, 0.20796605738569077) 0.206500 1.876202 0.393912 0.383584
32 2.627777 0.188132 0.187425 2.578896 (0.20411605937921729, 0.20028669958441622) 0.187425 1.817937 0.338670 0.345076
33 2.572114 0.220836 0.182505 2.571050 (0.21322537112010798, 0.1790037256054954) 0.182505 1.803776 0.360203 0.342488
34 2.606561 0.200944 0.192505 2.601208 (0.1946693657219973, 0.17890771010332887) 0.192505 1.783990 0.367531 0.370610
35 2.435854 0.247808 0.213712 2.410173 (0.24527665317139002, 0.21069700594347948) 0.213712 1.732159 0.438670 0.431008
36 2.540056 0.232637 0.215333 2.545989 (0.22402159244264508, 0.20292748779531436) 0.215333 1.712826 0.422097 0.408305
37 2.716013 0.203978 0.185414 2.710978 (0.20951417004048584, 0.1834142760677347) 0.185414 1.695599 0.356821 0.356809
38 2.806706 0.211396 0.193792 2.808136 (0.20715249662618085, 0.18579550307238263) 0.193792 1.682938 0.378918 0.356997
39 2.498842 0.240728 0.215052 2.499270 (0.24696356275303644, 0.21576877374316722) 0.215052 1.731914 0.462570 0.439850
40 2.620679 0.212407 0.196455 2.628163 (0.20715249662618085, 0.18223486880417838) 0.196455 1.596332 0.395716 0.383799
41 2.974588 0.183412 0.164054 3.018818 (0.1720647773279352, 0.15613097334053228) 0.164054 1.572925 0.320519 0.309294
42 2.742723 0.201618 0.171690 2.759597 (0.1950067476383266, 0.16048219170439312) 0.171690 1.647045 0.358737 0.346099
43 2.531920 0.263992 0.250890 2.518040 (0.25573549257759787, 0.2440362936757082) 0.250890 1.553931 0.505862 0.507409
44 3.075094 0.200270 0.169258 3.049379 (0.19770580296896087, 0.16001633853316233) 0.169258 1.566979 0.368207 0.331562
45 2.570449 0.244100 0.224142 2.565880 (0.2388663967611336, 0.2214028314590127) 0.224142 1.526312 0.502029 0.489095
46 2.818197 0.191167 0.187901 2.796440 (0.19736842105263158, 0.19232357889500645) 0.187901 1.491923 0.411387 0.411151
47 2.929079 0.187458 0.183159 2.916850 (0.1946693657219973, 0.1907751752063609) 0.183159 1.500997 0.379932 0.384709
48 3.018115 0.207687 0.171661 3.060565 (0.19331983805668015, 0.1539433963990855) 0.171661 1.452536 0.365614 0.336274
49 2.532748 0.268375 0.254380 2.518860 (0.26214574898785425, 0.24711889815048843) 0.254380 1.419145 0.588726 0.585951
50 2.680242 0.254214 0.240360 2.670534 (0.24932523616734142, 0.2285617651710419) 0.240360 1.358608 0.532582 0.536675
51 2.835821 0.249494 0.220138 2.861130 (0.24561403508771928, 0.20871497719769994) 0.220138 1.419180 0.507441 0.487057
52 2.644484 0.266689 0.241695 2.661561 (0.2567476383265857, 0.22568018194530065) 0.241695 1.343174 0.568658 0.559263
53 3.066290 0.182401 0.183912 3.083219 (0.1858974358974359, 0.18376399040149294) 0.183912 1.310104 0.394250 0.415503
54 2.731921 0.254889 0.223584 2.725339 (0.2564102564102564, 0.2184987918727784) 0.223584 1.389388 0.543743 0.517820
55 2.705044 0.246123 0.238066 2.700267 (0.2543859649122807, 0.24190761839012528) 0.238066 1.338880 0.577452 0.583269
56 2.695920 0.250506 0.242377 2.706066 (0.24932523616734142, 0.23188729117352572) 0.242377 1.299659 0.581962 0.592215
57 2.778490 0.240054 0.225332 2.793877 (0.23751686909581646, 0.2223992764370956) 0.225332 1.288026 0.550507 0.544182
58 2.817939 0.247471 0.244020 2.811125 (0.247638326585695, 0.2418385385616904) 0.244020 1.225512 0.577678 0.586037
59 3.472106 0.201955 0.168069 3.451824 (0.19230769230769232, 0.16132649927257728) 0.168069 1.225429 0.427057 0.371193
60 2.894010 0.244437 0.241418 2.853206 (0.2543859649122807, 0.24905698469344614) 0.241418 1.227810 0.603495 0.603070
61 3.118723 0.252192 0.237612 3.084859 (0.24493927125506074, 0.22254972671637924) 0.237612 1.161307 0.550056 0.545022
62 2.824880 0.255226 0.258546 2.792674 (0.24628879892037786, 0.2467400968911071) 0.258546 1.151415 0.665953 0.677112
63 3.065710 0.271072 0.228117 3.108086 (0.25033738191632926, 0.2067555545913085) 0.228117 1.104557 0.559301 0.529767
64 3.030791 0.237694 0.226699 3.019989 (0.22503373819163291, 0.21564636863242548) 0.226699 1.159816 0.587148 0.583561
65 3.012637 0.260958 0.240241 2.985557 (0.2682186234817814, 0.23979365796959481) 0.240241 1.037929 0.621759 0.614574
66 2.964460 0.247471 0.256786 2.948787 (0.24595141700404857, 0.24695041812891705) 0.256786 1.022357 0.668207 0.678748
67 3.294757 0.241065 0.223950 3.318937 (0.23481781376518218, 0.20769624561426764) 0.223950 1.022465 0.558399 0.553079
68 3.073484 0.242077 0.249886 3.063697 (0.23717948717948717, 0.23769842659130222) 0.249886 1.053699 0.622435 0.628094
69 3.453976 0.223533 0.205728 3.427282 (0.21862348178137653, 0.1989470397014321) 0.205728 1.053738 0.502368 0.479432
70 3.013431 0.259946 0.250427 2.980575 (0.2675438596491228, 0.2536196870579691) 0.250427 0.947340 0.707441 0.707495
71 3.192899 0.250506 0.235905 3.183632 (0.25775978407557354, 0.24413596604984475) 0.235905 0.971584 0.639684 0.638526
72 2.962909 0.271746 0.269333 2.960906 (0.26788124156545207, 0.26485553549646806) 0.269333 0.954528 0.726719 0.728097
73 3.277559 0.241403 0.250055 3.265971 (0.2412280701754386, 0.24595054085405257) 0.250055 0.873129 0.639346 0.651527
74 3.327241 0.218813 0.225891 3.315104 (0.21828609986504724, 0.2277919340030477) 0.225891 0.970794 0.611612 0.635978
75 3.151955 0.246797 0.255044 3.120140 (0.24628879892037786, 0.2503457797307463) 0.255044 0.922642 0.671702 0.684519
76 3.321274 0.258260 0.251544 3.243074 (0.25573549257759787, 0.24927115206575248) 0.251544 0.835310 0.704059 0.706440
77 3.924009 0.245111 0.205624 3.999104 (0.22975708502024292, 0.19360309565811887) 0.205624 0.809948 0.514543 0.503218
78 3.295342 0.276129 0.259261 3.303535 (0.2699055330634278, 0.2511822786438896) 0.259261 0.863891 0.686471 0.686120
79 3.156392 0.279838 0.276830 3.135488 (0.2823886639676113, 0.2710012854346033) 0.276830 0.862241 0.770462 0.770585
80 3.958438 0.207687 0.186228 4.001695 (0.19331983805668015, 0.17498500218765073) 0.186228 0.830420 0.511838 0.464069
81 3.280189 0.272421 0.257981 3.269663 (0.2786774628879892, 0.2600833711079357) 0.257981 0.795959 0.719955 0.721018
82 3.484893 0.252866 0.258146 3.425713 (0.2479757085020243, 0.24837319942792568) 0.258146 0.772638 0.689966 0.699622
83 3.486162 0.251517 0.240361 3.509850 (0.24156545209176788, 0.22228991772977066) 0.240361 0.763835 0.674521 0.665713
84 3.921067 0.218813 0.199941 3.908930 (0.21929824561403508, 0.2009072247488556) 0.199941 0.730009 0.573619 0.541552
85 3.444572 0.270735 0.272173 3.435668 (0.26450742240215924, 0.2591430809571605) 0.272173 0.684902 0.781172 0.782443
86 3.811772 0.250843 0.230829 3.808395 (0.24527665317139002, 0.21963644210500138) 0.230829 0.756169 0.634160 0.620812
87 3.510296 0.279501 0.267011 3.562184 (0.2715924426450742, 0.25032550561330835) 0.267011 0.646623 0.768884 0.765708
88 3.586286 0.263992 0.271517 3.577495 (0.26282051282051283, 0.26446809930784443) 0.271517 0.661741 0.749944 0.760090
89 4.681571 0.205327 0.188455 4.609154 (0.1970310391363023, 0.18134395191079314) 0.188455 0.742731 0.456595 0.465563
90 3.585675 0.287593 0.273742 3.588784 (0.2813765182186235, 0.26347410244298847) 0.273742 0.781117 0.772604 0.773621
91 3.380814 0.289953 0.293736 3.399356 (0.27800269905533065, 0.2762667834464922) 0.293736 0.669327 0.824352 0.832110
92 3.809807 0.255563 0.245581 3.781365 (0.23852901484480432, 0.22403129911538794) 0.245581 0.578794 0.691432 0.698756
93 3.557912 0.298382 0.292524 3.591677 (0.28879892037786775, 0.2765689211334193) 0.292524 0.626650 0.846449 0.853700
94 3.598173 0.291639 0.288085 3.617647 (0.2793522267206478, 0.2716469880918758) 0.288085 0.597514 0.842841 0.843943
95 3.736643 0.284221 0.273678 3.750029 (0.2813765182186235, 0.2650870245011679) 0.273678 0.526277 0.807103 0.806679
96 3.550263 0.287930 0.289019 3.557676 (0.2894736842105263, 0.28299646343842333) 0.289019 0.610835 0.870462 0.869356
97 3.746957 0.263655 0.277353 3.713209 (0.2624831309041835, 0.27294248525187503) 0.277353 0.660819 0.785457 0.792717
98 4.827035 0.207013 0.197829 4.793872 (0.21322537112010798, 0.20244046627756077) 0.197829 0.472199 0.559865 0.542621
99 3.920703 0.268038 0.271475 3.894989 (0.25775978407557354, 0.25549422980333764) 0.271475 0.654283 0.769448 0.781398
In [54]:
plt.plot(history['Loss'], label="loss")
plt.plot(history_test['Loss'], label="loss_test")
plt.plot(history_valid['Loss'], label="loss_valid")
plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)
Out[54]:
<matplotlib.legend.Legend at 0x2431a76e520>
In [55]:
fig1, ax1 = plt.subplots()
ax1.plot(history['Fscore'], label="train")
ax1.plot(history_test['Fscore'],label="test")
ax1.plot(history_valid['Fscore'],label="valid")
ax1.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)
ax1.plot()
Out[55]:
[]
In [58]:
fig1, ax1 = plt.subplots()
ax1.plot(history['Accuracy'], label="train")
ax1.plot(history_test['Accuracy'],label="test")
#ax1.plot(history_valid['Accuracy'],label="valid")
ax1.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)
ax1.plot()
Out[58]:
[]
In [62]:
%matplotlib inline
from sklearn.metrics import confusion_matrix
import itertools
import matplotlib.pyplot as plt
cm_plot_labels = list(dataset['labels_mapping'].keys())
X = model.predict(images)
cm = confusion_matrix(y_true=labels, y_pred=X)
from pylab import rcParams
rcParams['figure.figsize'] = 12, 12
plot_confusion_matrix(cm=cm, classes=cm_plot_labels, title='Confusion Matrix')
Confusion matrix, without normalization

Podsumowanie uczenia modelu

Najlepszym modelem okazałą się dwu warstwowa sieć neuronowa z rozkładem normalnym (0,0.5), krokiem w uczeniu 0.001, sto epok uczenia i optymalizatorem ADAM.
  1. Ilość warstw : Warstwy na których testowałem tą sieć MLP to 1/2/5. Niemal wszystkie sieci o dwóch warstwach były lepsze od pojedyńczej warstwy lub pięciu. W przypadku pierwszej warstwy zdecydowanie sieć była zbyt mało skomplikowana aby wyuczyć się aż 14 klas, w przypadku pięciu warstw jest duża szansa że wyuczyła się pojedyńczysz przykładów na pamięć.
  1. Wagi i biasy: Najlepszym wyobrem okazał się inicjalizator z rozkładu normalnego o średniej 0 i odchyleniu 0.05. Posiada więc jednocześnie liczby ujemne i dodatnie bliskie 0. W przeciwieństwie do drugiego inicjatora uniform który nie posiadał ujemnych wag a jedynie z przedziału [0,1) . Więc wagi początkowe ostylowały wokół zera, a w uniformowych mogły być zdecydowanie dużo dużo większe.
  1. Learning-rate: Dobrym krokiem uczenia okazał się 0.001, widocznie większy krok (0.05 i 0.01) nie były wstanie dobrze nakierować na minimum.
  1. Optymalizator Adam - Optymalizacja Adam jest wariantem SGD, w którym utrzymujemy wskaźnik uczenia na parametr (wagę) i aktualizujemy go na podstawie średniej i wariancji poprzednich gradientów tego parametru. - "TensorFlow Machine Learning Projects: Build 13 real-world projects with advanced numerical computations using the Python ecosystem" Przetesowano i SGD, NAdama i Adama gdzie optymalizator Adam wyszedł zwycięsko. Jak z cytatu powyżej widać jest ulepszoną wersji SGD. Jednakże podczas testów wynikło że najgorsze i najlepsze modele korzystały właśnie z Adama. Modele uczone klasycznym SGD zajmowały średnie pozycje.
In [64]:
good_img = []
bad_img = []
for i, prediction in enumerate(X):
    if labels[i] == prediction:
        good_img.append(i)
    else:
        bad_img.append(i)

from pylab import rcParams
rcParams['figure.figsize'] = 10, 15
fig = plt.figure(figsize=(25,200))
columns = 2
print(rows)
ax = []
for i in range(rows*columns):
    style=""
    img_to_show = None
    ax.append( fig.add_subplot(rows, columns, i+1) )
    if i%2 == 0:
        img_to_show=dataset['train']['X'][good_img[i]]
        img_key = (labels[good_img[i]]).numpy()[0]
        style='GOOD: '+ cm_plot_labels[img_key]
        
    else:   
        img_to_show=dataset['train']['X'][bad_img[i-1]]
        img_key = (labels[good_img[i]]).numpy()[0]
        style='BAD: '+cm_plot_labels[img_key]
    ax[-1].set_title("Style:"+style)  # set title
    plt.imshow(img_to_show)
5
In [ ]: